caffe的用法

Caffe的网络定义
Caffe中的网络都是有向无环图的集合，可以直接定义：数据以blobs的形式在层间流动。

name: “dummy-net”

layers {name: “data” …}

layers {name: “conv” …}

layers {name: “pool” …}
layers {name: “loss” …}
Caffe的各层定义
Caffe层的定义由2部分组成：层属性与层参数，例如

name:“conv1”
type:CONVOLUTION
bottom:“data”
top:“conv1”
convolution_param{
num_output:20
kernel_size:5
stride:1
weight_filler{
type: “xavier”
}
}
Caffe的总体架构
Caffe框架主要有五个组件，Blob，Solver，Net，Layer，Proto，其结构图如下图1所示。Solver负责深度网络的训练，每个Solver中包含一个训练网络对象和一个测试网络对象。每个网络则由若干个Layer构成。每个Layer的输入和输出Feature map表示为Input Blob和Output Blob。Blob是Caffe实际存储数据的结构，是一个不定维的矩阵，在Caffe中一般用来表示一个拉直的四维矩阵，四个维度分别对应Batch Size（N），Feature Map的通道数（C）,Feature Map高度(H)和宽度(W)。Proto则基于Google的Protobuf开源项目，是一种类似XML的数据交换格式，用户只需要按格式定义对象的数据成员，可以在多种语言中实现对象的序列化与反序列化，在Caffe中用于网络模型的结构定义、存储和读取。

Blob
下面介绍Caffe中的基本数据存储类Blob。Blob常用的存储格式：

图像数量N * 通道K * 图像高度H * 图像宽度W
Blob使用SyncedMemory类进行数据存储并同步CPU和GPU上的数据，数据成员 data_指向实际存储数据的内存或显存块，shape_存储了当前blob的维度信息，diff_这个保存了反向传递时候的梯度信息。在Blob中其实不是只有num，channel，height，width这种四维形式，它是一个不定维度的数据结构，将数据展开存储，而维度单独存在一个vector 类型的shape_变量中，这样每个维度都可以任意变化。来一起看看Blob的关键函数，data_at这个函数可以读取的存储在此类中的数据，diff_at可以用来读取反向传回来的误差。顺便给个提示，尽量使用data_at(const vector& index)来查找数据。Reshape函数可以修改blob的存储大小，count用来返回存储数据的数量。BlobProto类负责了将Blob数据进行打包序列化到Caffe的模型中。

Blob可根据CPU主机到GPU设备的同步需要，屏蔽CPU/GPU混合运算在计算上的开销。主机和设备上的内存按需求分配，已提高内存的使用率。使用GPU时，Caffe中CPU代码先从磁盘中加载数据到blob，同时请求先分配一个GPU设备核以使用GPU进行计算，再将计算好的blob数据送入到下一层，只要所有的layers均有GPU实现，这种情况下所有的中间数据都会保留在GPU上。

这里一个实例，用以确定blob何时回复制数据：

// 假定数据在 假定数据在 CPU上进行初始化，我们有一个blob
const Dtype* foo;
Dtype* bar;
foo = blob.gpu_data(); // 数据从CPU复制到 复制到 GPU
foo = blob.cpu_data(); // 没有数据复制，两者都最新的内容
bar = blob.mutable_gpu_data(); // 没有数据复制
// … 一些操作 …
bar = blob.mutable_gpu_data(); // 仍在GPU，没有数据复制
foo = blob.cpu_data(); //由于GPU修改了数值，数据从GPU复制到 CPU
foo = blob.gpu_data(); //没有数据复制，两者都最新的内容
bar = blob.mutable_cpu_data(); // 依旧没有数据复制
bar = blob.mutable_gpu_data(); //数据从CPU复制到GPU
bar = blob.mutable_cpu_data(); //数据从GPU复制到CPU
Solver
Solver通过协调Net的前向计算和反向梯度计算来进行参数更新，从而达到loss的目的。目前Caffe的模型学习分为两个部分：由Solver进行优化、更新参数；由Net计算出loss和gradient。

solver具体的工作：1、用于优化过程的记录，创建训练网络和测试网络

2、用过forward和backward过程来迭代优化更新参数。3、周期性的用测试网络评估模型性能。4、优化过程中记录模型和solver状态的快照。

一些参数的配置都在solver.prototxt格式的文件中：

1. ####训练样本###

总共:121368个
batch_szie:256
将所有样本处理完一次（称为一代，即epoch)需要：121368/256=475 次迭代才能完成
所以这里将test_interval设置为475，即处理完一次所有的训练数据后，才去进行测试。所以这个数要大于等于475.
如果想训练100代，则最大迭代次数为47500；
2. ####测试样本###
同理，如果有1000个测试样本，batch_size为25，那么需要40次才能完整的测试一次。 所以test_iter为40；这个数要大于等于40.
3. ####学习率###
学习率变化规律我们设置为随着迭代次数的增加，慢慢变低。总共迭代47500次，我们将变化5次，所以stepsize设置为47500/5=9500，即每迭代9500次，我们就降低一次学习率。

####参数含义#############

net: “examples/AAA/train_val.prototxt” #训练或者测试配置文件
test_iter: 40 #完成一次测试需要的迭代次数
test_interval: 475 #测试间隔
base_lr: 0.01 #基础学习率
lr_policy: “step” #学习率变化规律
gamma: 0.1 #学习率变化指数
stepsize: 9500 #学习率变化频率
display: 20 #屏幕显示间隔
max_iter: 47500 #最大迭代次数
momentum: 0.9 #动量
weight_decay: 0.0005 #权重衰减
snapshot: 5000 #保存模型间隔
snapshot_prefix: “models/A1/caffenet_train” #保存模型的前缀
solver_mode: GPU #是否使用GPU

stepsize不能太小，如果太小会导致学习率再后来越来越小，达不到充分收敛的效果。
接下来我们看看Solver这个优化对象在Caffe中是如何实现的。SolverRegistry这个类就是我们看到的上面的factory类，负责给我们一个优化算法的产品，外部只需要把数据和网络结构定义好，它就可以自己优化了。Solver* CreateSolver(const SolverParameter& param)这个函数就是工厂模式下的CreateProduct的操作， Caffe中这个SolverRegistry工厂类可以提供给我们6种产品（优化算法）：

这六种产品的功能都是实现网络的参数更新，只是实现方式不一样。那我们来看看他们的使用流程吧。当然这些产品类似上面Product类中的Operation，每一个Solver都会继承Solve和Step函数，而每个Solver中独有的仅仅是ApplyUpdate这个函数里面执行的内容不一样，接口是一致的，这也和我们之前说的工厂生产出来的产品一样功能一样，细节上有差异，比如大多数电饭煲都有煮饭的功能，但是每一种电饭煲煮饭的加热方式可能不同，有底盘加热的还有立体加热的等。

接下里我们看看Solver中的关键函数。Solver中Solve函数的流程图如下：

Solver类中Step函数流程图：

Solver中关键的就是调用Sovle函数和Step函数的流程，你只需要对照Solver类中两个函数的具体实现，看懂上面两个流程图就可以理解Caffe训练执行的过程了。

Net
Net是由一些列层组成的有向无环图DAG，一个典型的Net开始于data layer ----> 从磁盘中加载数据----> 终止于loss layer。(计算和重构目标函数。)

这个是我们使用Proto创建出来的深度网络对象，这个类负责了深度网络的前向和反向传递。以下是Net类的初始化方法NetInit函数调用流程：

类中的关键函数简单剖析

1).ForwardBackward：按顺序调用了Forward和Backward。

2).ForwardFromTo(int start, int end)：执行从start层到end层的前向传递，采用简单的for循环调用。，forward只要计算损失loss

3).BackwardFromTo(int start, int end)：和前面的ForwardFromTo函数类似，调用从start层到end层的反向传递。backward主要根据loss来计算梯度，caffe通过自动求导并反向组合每一层的梯度来计算整个网络的梯度。

4).ToProto函数完成网络的序列化到文件，循环调用了每个层的ToProto函数。

Net::Init()进行模型的初始化。初始化主要实现两个操作：创建blobs和layers以搭建整个DAG网络，并且调用layers的SetUp()函数。

Layer
Layer是Net的基本组成单元，例如一个卷积层或一个Pooling层。本小节将介绍Layer类的实现。

NeuronLayer类：定义于neuron_layers.hpp中，其派生类主要是元素级别的运算（比如Dropout运算，激活函数ReLu，Sigmoid等），运算均为同址计算（in-place computation，返回值覆盖原值而占用新的内存）。
LossLayer类：定义于loss_layers.hpp中，其派生类会产生loss，只有这些层能够产生loss。
数据层：定义于data_layer.hpp中，作为网络的最底层，主要实现数据格式的转换。
特征表达层（我自己分的类）：定义于vision_layers.hpp，实现特征表达功能，更具体地说包含卷积操作，Pooling操作，他们基本都会产生新的内存占用（Pooling相对较小）。
网络连接层和激活函数（我自己分的类）：定义于common_layers.hpp，Caffe提供了单个层与多个层的连接，并在这个头文件中声明。这里还包括了常用的全连接层InnerProductLayer类。
Layer的重要成员函数
layer主要定义了三种运算，setup，forward，backward

在Layer内部，数据主要有两种传递方式，正向传导（Forward）和反向传导（Backward）。Forward和Backward有CPU和GPU（部分有）两种实现。Caffe中所有的Layer都要用这两种方法传递数据。Layer类派生出来的层类通过实现这两个虚函数，产生了各式各样功能的层类。Forward是从根据bottom计算top的过程，Backward则相反（根据top计算bottom）。注意这里为什么用了一个包含Blob的容器（vector），对于大多数Layer来说输入和输出都各连接只有一个Layer，然而对于某些Layer存在一对多的情况，比如LossLayer和某些连接层。在网路结构定义文件（*.proto）中每一层的参数bottom和top数目就决定了vector中元素数目。

layers {
bottom: “decode1neuron” // 该层底下连接的第一个Layer
bottom: “flatdata” // 该层底下连接的第二个Layer
top: “l2_error” // 该层顶上连接的一个Layer
name: “loss” // 该层的名字 type: EUCLIDEAN_LOSS //该层的类型
loss_weight: 0
}