caffe脚本

Net
网络就是由层组合成的
name: "dummy-net"
layers { name: "data" ...}
layers { name: "conv" ...}
layers { name: "pool" ...}
LogReg ↑
... more layers ...
layers { name: "loss" ...}


初始化网络的时候会检查合法性
数据前向和后向流动通过blob



Layer
name: "conv1" 层名称
type: CONVOLUTION 类型：常见的有DATA，CONVOLUTION，POOLING
bottom: "data" 输入块名称，这里不是层名称
top: "conv1" 输出块名称，这个块就是一坨数据
convolution_param 这一层的指定参数
{
num_output: 20 这应该是总共有多少个卷积核
kernel_size: 5
stride: 1
weight_filler { 这个参数不知道啥意思
type: "xavier"
}
}


层指定参数：
Setup 初始化的时候运行一次
Forward 给定输入计算输出
Backward 计算给定输出的梯度



Blob
blob是4D数组，用来存储和交互信息
数据、导数、参数
分配内存
在cpu和gpu之间交互


数据：数量＊K通道＊高度＊宽度
比如ImageNet的训练数据：256 x 3 x 227 x 227 
参数：卷积权重
N输出＊K输入＊高度＊宽度
比如CaffeNet conv1：96 x 3 x 11 x 11
参数：卷积偏置
比如CaffeNet conv1：96 x 1 x 1 x 1


blob接口：
Reshape(num, channel, height, width)


Solving: 训练网络

train_net: "lenet_train.prototxt" 指定网络模型
base_lr: 0.01 初始学习速率
momentum: 0.9 动量，应该是上一批训练数据的梯度保留的比例
weight_decay: 0.0005 衰减速度
max_iter: 10000 最大迭代次数
snapshot_prefix: "lenet_snapshot" 训练到达一定迭代次数，临时保存一个模型
solver_mode: GPU 指定CPU或者GPU



训练方式：
Stochastic Gradient Descent (SGD) + momentum
Adaptive Gradient (ADAGRAD)
Nesterov’s Accelerated Gradient (NAG)



Loss层
指定一个loss计算函数
分类：
SOFTMAX_LOSS
HINGE_LOSS
线性回归
EUCLIDEAN_LOSS
多分类
SIGMOID_CROSS_ENTROPY_LOSS


默认loss权值是1