使用caffe训练数据集

最新推荐文章于 2019-04-17 13:17:01 发布

Joczu

最新推荐文章于 2019-04-17 13:17:01 发布

阅读量597

点赞数

分类专栏：图像分类文章标签： caffe Ubuntu 数据图像分类神经网络

本文链接：https://blog.csdn.net/joczu/article/details/73640088

版权

图像分类专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1 实验目的

（1）结合Caffe平台，进一步掌握Caffe的使用流程。
（2）进一步理解Caffe卷积神经网络定义和优化思想。
（3）学会使用prototxt定义卷积神经网络和优化方法。
（4）能看懂卷积神经网络的关键代码。
（5）能独立完成卷积神经网络和优化自定义。
（6）运行自己的数据，解决自己在实践或科研过程中要解决的计算机视觉问题。

2 实验需求

硬件准备：GPU（若使用GPU模式），此选项可选择。
软件准备：Caffe
数据准备：自己要识别的数据集

3 实验内容

使用Caffe自定义网络结构和优化方案，识别分类自己的数据集。

4 实验过程

4.1 准备数据

在网上找大巴车、恐龙、大象、鲜花和马五个图像数据集，编号分别以3,4,5,6,7开头，每个种类100张，其中80张作为训练集，20张作为测试集。因此最终训练图片400张，测试图片100张。

4.2 创建目录

训练集目录：/home/joczu/caffe-master/data/re/train
测试集目录：/home/joczu/caffe-master/data/re/val
sh文件目录：/home/joczu/caffe-master/examples/myfile

4.3 预处理（生成标签）

编写create_filelist.sh文件，使用
find $DATA/train -name $i*.jpg | cut -d '/' -f4-5 | sed "s/$/ $i/">>$MY/train.txt

把每个图片的名称和上级目录名给截取出来，并分别以开头数字3,4,5,6,7作为一个种类的标签。

# /usr/bin/env sh
DATA1="/home/joczu/caffe-master/data/re"
DATA2="/home/joczu/caffe-master/data/re/train/cat"
DATA3="/home/joczu/caffe-master/data/re/train/dog"
DATA4="/home/joczu/caffe-master/data/re/val"

echo "Create train.txt..."

rm -rf $DATA1/train.txt
rm -rf $DATA1/val.txt


find $DATA2 -name Abyssinian*.jpg | cut -d '/' -f8-9 | sed "s/$/ 1/">>$DATA1/train.txt
find $DATA3 -name american_bulldog*.jpg | cut -d '/' -f8-9 | sed "s/$/ 2/">>$DATA1/tmp.txt
find $DATA4 -name Abyssinian*.jpg | cut -d '/' -f8-9 | sed "s/$/ 1/">>$DATA1/val.txt
find $DATA4 -name american_bulldog*.jpg | cut -d '/' -f8-9 | sed "s/$/ 2/">>$DATA1/tmp_val.txt

cat $DATA1/tmp.txt>>$DATA1/train.txt
cat $DATA1/tmp_val.txt>>$DATA1/val.txt
rm -rf $DATA1/tmp.txt
rm -rf $DATA1/tmp_val.txt

echo "Done.."

4.4 转换lmdb数据格式

编写creat_lmdb.sh文件，首先转换图片大小，像素均变化成256X256，再调用build/tools/convert_imageset转换图片的数据格式，生成img_test_lmdb和img_train_lmdb文件

#!/usr/bin/env sh
MY=examples/myfile

echo "Creating train lmdb..."
rm -rf $MY/img_train_lmdb
build/tools/convert_imageset \
--shuffle \
--resize_height=256 \
--resize_width=256 \
#/data/re/train \
$MY/train.txt \
$MY/img_train_lmdb
echo "Done."

echo "Creating test lmdb.."
rm -rf $MY/img_test_lmdb
build/tools/convert_imageset \
--shuffle \
--resize_width=256 \
--resize_height=256 \
#/data/re/val \
$MY/val.txt \
$MY/img_test_lmdb
echo "All Done."

到此数据的预处理完成。

4.5 生成均值文件

图片减去均值再训练，会提高训练速度和精度。因此，一般都会有这个操作。
caffe程序提供了一个计算均值的文件compute_image_mean.cpp，我们直接使用就可以了。

compute_image_mean带两个参数，第一个参数是lmdb训练数据位置，第二个参数设定均值文件的名字及保存路径。运行成功后，会在 examples/myfile/ 下面生成一个mean.binaryproto的均值文件。

4.6 创建训练模型

模型就用程序自带的caffenet模型，位置在 models/bvlc_reference_caffenet/文件夹下,
将需要的两个配置文件，复制到myfile文件夹内

修改其中的solver.prototxt

net: "examples/myfile/train_val.prototxt"
test_iter: 2
test_interval: 50
base_lr: 0.001
lr_policy: "step"
gamma: 0.1
stepsize: 100
display: 20
max_iter: 200
momentum: 0.9
weight_decay: 0.005
solver_mode: CPU
snapshot: 200
snapshot_prefix: "examples/myfile/myfile"

100个测试数据，batch_size为50，因此test_iter设置为2，就能全cover了。在训练过程中，调整学习率，逐步变小。
相关参数解释
net: "examples/myfile/train_val.prototxt" 网络模型的路径。注意的是：文件的路径要从caffe的根目录开始，其它的所有配置都是这样。
test_iter: 2 这个要结合ｌａｙｅｒ理解，表示两层
test_interval: 50 测试间隔。也就是每训练50次，才进行一次测试
base_lr: 0.001 base_lr用于设置基础学习率，在迭代的过程中，可以对基础学习率进行调整。怎么样进行调整，就是调整的策略，由lr_policy来设置
lr_policy: "step" 如果设置为step,则还需要设置一个stepsize, 返回 base_lr * gamma ^ (floor(iter / stepsize)),其中iter表示当前的迭代次数
gamma: 0.1 上一次梯度更新的权重
stepsize: 100
display: 20 每训练２0次，在屏幕上显示一次。如果设置为0，则不显示
max_iter: 200 最大迭代次数。这个数设置太小，会导致没有收敛，精确度很低。设置太大，会导致震荡，浪费时间。
momentum: 0.9 上一次梯度更新的权重
weight_decay: 0.005 权重衰减项，防止过拟合的一个参数
solver_mode: CPU 设置运行模式。默认为GPU,如果你没有GPU,则需要改成CPU,否则会出错
snapshot: 200
snapshot_prefix: "examples/myfile/myfile"

修改train_val.protxt，只需要修改两个阶段的data层的文件目录

name: "CaffeNet"
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    mirror: true
    crop_size: 227
    mean_file: "data/re/imagenet_mean.binaryproto"
  }
  data_param {
    source: "examples/myfile/imagenet_train_leveldb"
    batch_size: 256
    backend: LMDB
  }
}
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TEST
  }
  transform_param {
    mirror: false
    crop_size: 227
    mean_file: "data/re/imagenet_mean.binaryproto"
  }
  data_param {
    source: "examples/myfile/imagenet_val_leveldb"
    batch_size: 20
    backend: LMDB
  }
}