WSL + windows CMD caffe 训练记录

需求：长期开发相关的配置还是Linux用的更加熟练一些，现在要在Windows上部署caffe训练环境，WSL又不能支持GPU，所以各种脚本的执行放在WSL上执行，Windows上只是在cmd中运行一下caffe train命令。
（1660ti显卡在Windows架caffe坑得昏天黑地的，有时间也记录一下。）

solver.prototxt

solver这个文件主要存放模型训练所用到的一些超参数：
net := 指定待训练模型结构文件，即train_val.prototxt
test_interval := 测试间隔，即每隔多少次迭代进行一次测试。例如：test_interval: 50 ,则说明每训练50次，才进行一次测试（即每隔多少次迭代，进行一次测试）
test_initialization := 指定是否进行初始测试，即模型未进行训练时的测试
test_iteration := 指定测试时进行的迭代次数。这个与test layer 的batch_size结合起来理解。
base_lr := 指定基本学习率
lr_policy := 学习率变更策略
gamma := 学习率变更策略需要用到的参数
power := 同上
stepsize := 学习率变更策略Step的变更步长（固定步长）
stepvalue := 学习率变更策略Multistep的变更步长（可变步长）
max_iter := 模型训练的最大迭代次数
momentum := 动量，优化策略（Adam, SGD, … ）用到的参数
momentum2 := 优化策略Adam用到的参数
weight_decay := 权重衰减率
clip_gradients := 固定梯度范围
display := 每隔几次迭代显示一次结果
snapshot := 快照，每隔几次保存一次模型参数
snapshot_prefix := 保存模型文件的前缀，可以是路径
type := solver优化策略，即SGD、Adam、AdaGRAD、RMSProp、NESTROVE、ADADELTA等
solver_mode := 指定训练模式，即GPU/CPU
debug_info := 指定是否打印调试信息，这里有对启用该功能的输出作介绍
device_id := 指定设备号（使用GPU模式），默认为0
用户根据自己的情况进行相应设置，红体参数为必须指定的，其余参数为可选（根据情况选择）。
Solver.prototxt中的test_interval和test_iter与train_val.prototxt中train layer的batch_size和test layer的batch_size的关系如下：
1），train layer 的batch_size * test_interval <= 训练集的数量
2），test layer的batch_size * test_iter >= 测试集的数量（保证测试时，用到所有测试图片）

train_val.prototxt

train_val文件是用来存放模型结构的地方，模型的结构主要以layer为单位来构建，属于网络配置文件。该文件是在训练的时候用的。下面我们以CaffeNet为例介绍网络层的基本组成：
name: “CaffeNet”
layer {
name: “data” #网络层名称
type: “Data” #网络层类型，数据层
top: “data” #这一层的输出，数据
top: “label” #这一层的输出，标签
include { phase: TRAIN } #TRAIN:=用于训练,TEST:=用于测试
transform_param {
mirror: true
crop_size: 227
mean_file: “examples/myfile/mean.binaryproto”
}
data_param { #数据层配置
source: “examples/myfile/img_train_lmdb” #数据存放路径
batch_size: 64 #指定batch大小
backend: LMDB #指定数据库格式，LMDB/LevelDB
}
}
layer {
name: “data”
type: “Data”
top: “data”
top: “label”
include { phase: TEST }
transform_param {
irror: false
rop_size: 227
mean_file： “examples/myfile/mean.binaryproto”
}
data_param {
source: “examples/myfile/img_test_lmdb”
batch_size: 100
backend: LMDB
}
}
layer{
name:“conv1”
type:“Convolution” #卷积层
bottom:“data” #上一层的输出作为输入
top:“conv1”
param{name:“conv1_w” lr_mult:1 decay_mult:1} #卷积层参数w的名称，学习率和衰减率（相对于base_lr和weight_decay的倍数）
param{name:“conv1_b” lr_mult:2 decay_mult:0} #卷积层参数b的名称，学习率和衰减率
convolution_param{
num_output:20 #卷积层输出的feature map数量
kernel_size:5 #卷积层的大小
pad:0 #卷积层的填充大小
stride:1 #进行卷积的步长
weight_filler{type:“gaussian” } #参数w的初始话策略
bias_filler{type:“constant” value:0.1} #参数b的初始化策略
}
}
layer {　　　　　　　　
name:“relu1”
type:“ReLU”
bottom:“conv1”
top:“conv1”
}
layer { #池化层，即下采样层
name: “pool1”
type: “Pooling”
bottom: “conv1”
top: “pool1”
pooling_param {
pool: MAX #最大值池化，还有AVE均值池化
kernel_size: 3
stride: 2
}
}
Layer{
name: “norm1”
type: “LRN”
bottom: " pool1"
top: " norm1"
lrn_param{
local_size：5
alpha：0.0001
beta：0.75
}
}
layer {
name: “conv2”
type: “Convolution”
bottom: " norm1"
top: “conv2”
param { lr_mult: 1 decay_mult：0}
param { lr_mult: 2 decay_mult:0}
convolution_param {
num_output: 256
pad:2
kernel_size: 5
group:2
weight_filler { type: “Gaussian” std: 0.01}
bias_filler { type: “constant” value: 1}
}
}
Layer{
name:“relu2”
type:“RELU”
bottom:“conv2”
top:“conv2”

}
layer {
name: “pool2”
type: “Pooling”
bottom: “conv2”
top: “pool2”
pooling_param {
pool: MAX
kernel_size: 3
stride: 2
}
}
layer {
name: “norm2”
type: “LRN”
bottom: “pool2”
top: “norm2”
lrn_param {
local_size: 5
alpha: 0.0001
beta: 0.75
}
}
layer {
name: “conv3”
type: “Convolution”
bottom: “norm2”
top: “conv3”
param {
lr_mult: 1
decay_mult: 1
}
param {
lr_mult: 2
decay_mult: 0
}
convolution_param {
num_output: 384
pad: 1
kernel_size: 3
weight_filler {
type: “gaussian”
std: 0.01
}
bias_filler {
type: “constant”
value: 0
}
}
}
layer {
name: “relu3” #激活函数层，提供非线性能力
type: “ReLU”
bottom: “conv3”
top: “conv3”
}
layer {
name: “conv4”
type: “Convolution”
bottom: “conv3”
top: “conv4”
param {
lr_mult: 1
decay_mult: 1
}
param {
lr_mult: 2
decay_mult: 0
}
convolution_param {
num_output: 384
pad: 1
kernel_size: 3
group: 2
weight_filler {
type: “gaussian”
std: 0.01
}
bias_filler {
type: “constant”
value: 1
}
}
}
layer {
name: “relu4”
type: “ReLU”
bottom: “conv4”
top: “conv4”
}
layer {
name: “conv5”
type: “Convolution”
bottom: “conv4”
top: “conv5”
param {
lr_mult: 1
decay_mult: 1
}
param {
lr_mult: 2
decay_mult: 0
}
convolution_param {
num_output: 256
pad: 1
kernel_size: 3
group: 2
weight_filler {
type: “gaussian”
std: 0.01
}
bias_filler {
type: “constant”
value: 1
}
}
}
layer {
name: “relu5”
type: “ReLU”
bottom: “conv5”
top: “conv5”
}
layer {
name: “pool5”
type: “Pooling”
bottom: “conv5”
top: “pool5”
pooling_param {
pool: MAX
kernel_size: 3
stride: 2
}
}
layer {
name: “fc6”
type: “InnerProduct”
bottom: “pool5”
top: “fc6”
param {
lr_mult: 1
decay_mult: 1
}
param {
lr_mult: 2
decay_mult: 0
}
inner_product_param {
num_output: 4096
weight_filler {
type: “gaussian”
std: 0.005
}
bias_filler {
type: “constant”
value: 1
}
}
}
layer {
name: “relu6”
type: “ReLU”
bottom: “fc6”
top: “fc6”
}
layer {
name: “drop6”
type: “Dropout”
bottom: “fc6”
top: “fc6”
dropout_param {
dropout_ratio: 0.5
}
}
layer {
name: “fc7”
type: “InnerProduct”
bottom: “fc6”
top: “fc7”
param {
lr_mult: 1
decay_mult: 1
}
param {
lr_mult: 2
decay_mult: 0
}
inner_product_param {
num_output: 4096
weight_filler {
type: “gaussian”
std: 0.005
}
bias_filler {
type: “constant”
value: 1
}
}
}
layer {
name: “relu7”
type: “ReLU”
bottom: “fc7”
top: “fc7”
}
layer {
name: “drop7”
type: “Dropout”
bottom: “fc7”
top: “fc7”
dropout_param {
dropout_ratio: 0.5
}
}
layer {
name: “fc8”
type: “InnerProduct”
bottom: “fc7”
top: “fc8”
param {
lr_mult: 1
decay_mult: 1
}
param {
lr_mult: 2
decay_mult: 0
}
inner_product_param {
num_output: 5
weight_filler {
type: “gaussian”
std: 0.01
}
bias_filler {
type: “constant”
value: 0
}
}
}
layer {
name: “accuracy”
type: “Accuracy”
bottom: “fc8”
bottom: “label”
top: “accuracy”
include {
phase: TEST
}
}
layer {
name: “loss”
type: “SoftmaxWithLoss”
bottom: “fc8”
bottom: “label”
top: “loss”
}

deploy.prototxt

该文件是在测试时使用的文件。首先deploy.prototxt文件都是在train_val.prototxt文件的基础上删除了一些东西，所形成的。
由于两个文件的性质，train_val.prototxt文件里面训练的部分都会在deploy.prototxt文件中删除。
主要区别：
在train_val.prototxt文件中，开头要加入一下训练设置文件和准备文件。例如，transform_param中的mirror: true（开启镜像）；crop_size: ***（图像尺寸）；mean_file: “”（求解均值的文件），还有data_param中的source:""（处理过得数据训练集文件）；batch_size: ***（训练图片每批次输入图片的数量）；backend: LMDB（数据格式设置）。
然后接下来，训练的时候还有一个测试的设置，测试和训练模式的设置通过一个include{phase: TEST/TRAIN}来设置。接下来就是要设置TEST模块内容。然后其他设置跟上面一样，里面有个batch_size可以调小一点，因为测试的话不需要特别多的图片数量。
而以上这一块的内容在deploy里表现出来的只有一个数据层的设置。只需设置name,type,top,input_param这些即可。
接下来，第一个卷积层的设置，train_val.prototxt文件中多了param（反向传播学习率的设置），这里需要设置两个param一个时weight的学习率，一个时bias的学习率，其中一般bias的学习率是weight学习率的两倍。然后就是设置convolution_param，但是在train_val里面需要有对weight_filler的初始化和对bias_filler的初始化。
然后就是设置激活激活函数。这一块由于没有初始化，所以两个文件都是一样的。
再接下来就是池化层，由于池化就是降低分辨率，所以这两边是一样的，只需要设置kernel_size，stride，pool即可。无需参数的初始化。
再下来时LRN层，该层的全称是Local Response Normalization（局部响应值归一化），该层的作用就是对局部输入进行一个归一化操作，不过现在有论文表明，这一层加不加对结果影响不是很大。但这一层的定义都是相同的。
再接下来就是"conv2"、“relu2”、“pool2”、“LRN2"这样的循环，具体跟之前说的一样，train_val主要多的就是参数的初始化和学习率的设置。
在第五个卷积层之后，进入了"fc6"层，该层是全连接层，这里train_val里面还是多两个param学习率的设置，和weight_filler、bias_filler的初始化设置，而两者共同的是有一个输出向量元素个数的设置：inner_product_param。
再接下来就是激活函数RELU。
再接下来就是Dropout层，该层的目的就是为了防止模型过拟合。这其中有一个dropout_ration的设置一般为0.5即可。
再接下来就是"fc7”，这一层跟"fc6"相同。然后就是"relu7"、"drop7"都是相同的。然后就是"fc8"也与之前相同。
再接下来就是Accuracy，这个层是用来计算网络输出相对目标值的准确率，它实际上并不是一个损失层，所以没有反传操作。但是在caffe官网中，它在损失层这一部分。所以在deploy.prototxt文件中，这一层的定义是没有的。
再接下来train_val的最后一个层是"SoftmaxWithLoss"层，也是简单的定义了name,type,bottom,top就完了。而这一块的内容也不在deploy.prototxt文件中。
而在deploy.prototxt文件中直接定义了一个type:“Softmax”。
通过对CaffeNet这两个文件的查看发现deploy.prototxt文件和train_val.prototxt文件之间的差异在很多层里面牵扯到训练部分的都会被删除，然后就是反向传播训练部分会被删除。
其中，这里面有一个区别在里头，就是为什么train_val里面的是SoftmaxWithLoss而deploy里面的是Softmax层（两个都是损失层，都没有任何参数）：
这里面其实都是softmax回归的应用，只是在定义成Softmax时直接计算了概率室友forward部分，而在SoftmaxWithLoss部分时是还有backward的部分。

生成列表txt

#!/usr/bin/env sh
DATA=data/re
MY=examples/resnet_new

echo "Create train.txt..."
rm -rf $MY/train.txt
for i in  3 4 5 6
do
#find $DATA/train -name $i*.jpg | cut -d '/' -f4-5 | sed "s/$/ $（（$i-3））/">>$MY/train.txt
find $DATA/train -name $i*.jpg | cut -d '/' -f3-4 | sed "s/$/ `expr $i - 3`/">>$MY/train.txt
done
echo "Create test.txt..."
rm -rf $MY/test.txt
for i in  3 4 5 6
do
#find $DATA/test -name $i*.jpg | cut -d '/' -f4-5 | sed "s/$/ $（（$i-3））/">>$MY/test.txt
find $DATA/test -name $i*.jpg | cut -d '/' -f3-4 | sed "s/$/ `expr $i - 3`/">>$MY/test.txt
done
echo "All done"

生成lmdb

#!/usr/bin/env sh
MY=examples/resnet_new
echo "Create train lmdb.."
rm -rf $MY/img_train_lmdb
build/tools/convert_imageset \
--shuffle \
--resize_height=224 \
--resize_width=224 \
/home/gpu/caffe/data/re/ \
$MY/train.txt \
$MY/img_train_lmdb

echo "Create test lmdb.."
rm -rf $MY/img_test_lmdb
build/tools/convert_imageset \
--shuffle \
--resize_width=224 \
--resize_height=224 \
/home/gpu/caffe/data/re/ \
$MY/test.txt \
$MY/img_test_lmdb
echo "All Done.."

生成mean文件

build/tools/compute_image_mean img_train_lmdb mean.binaryproto

根据训练图片准备配置文件

修改solver.prototxt ，train_value.prototxt

train

C:\proj\caffe\build\tools\Release\caffe.exe train --solver=solver.prototxt

test