关闭

使用caffe中的imagenet对自己的图片进行分类训练(超级详细版)

标签: caffeimagenet
19586人阅读 评论(11) 收藏 举报
分类:

因为自己在网络上查到的资料对于一个新手来说虽然指明了方向,但是在细节上没有给出很好的实例,因此我把自己训练的过程记录下来。

【实验环境】

物理内存:64G Free:7.5G  CPU个数:3,单个CPU物理核数:8

操作系统:Linux

备注:具有GPU运算能力

【实验目标】

使用自己的图片集,以及caffe框架,对imagenet进行训练,得到自己的model。

【前期准备】

1.      安装并配置caffe环境

【实验过程】

1.      数据集准备

获取训练图片集与验证图片集,并产生train.txt与val.txt,内容为图片路径与分类标签;将图片进行大小重设,设置为256*256大小;使用create_imagenet.sh脚本将2组图片集转换为lmbp格式。

2.      计算图像均值

使用make_imagenet_mean.sh计算图像均值,产生imagenet_mean.binaryproto文件。

3.      设置网络参数

拷贝caffe-master/model/bvlc_reference_caffenet中的文件,修改train_val.prototxt,solver.prototxt中的运行参数,并进行路径的修改;拷贝caffe_master/examples/imagenet中的train_caffnet.sh文件,对路径进行修改。

4.      运行train_caffnet.sh

【实验过程详细版】

备注一下目录的情况,这样比较调理啦:

Caffe根目录:caffe_root=/home/james/caffe/

图片类数据:caffe_root/data/mydata

命令参数类数据:caffe_root/examples/mytask

注:默认我们手动添加的除图片以及.txt之外的文件都属于命令参数类数据,运行的时候注意路径就好,另外,我门在实验的时候换了别人的电脑,因此存在caffe根路径前后不一致的状况,大家注意一下就好。

1.      数据集准备

a.      准备训练图片集以及验证图片集

新建caffe_root/data/mydata,分别将图片集放置于caffe_root/data/mydata/train与caffe_root/data/mydata/val下面

b.      准备图片清单

在caffe_root/data/mydata下面新建两个文件train.txt与val.txt,train.txt中的内容为:

       1.jpg 7

       2.jpg7

       3.jpg 7

       …

以上格式为图片名称+空格+类标(数字)的格式,val.txt的格式也是一样的(同样需要类标)。

此步可以使用create_filelist.sh进行批量添加图片路径至train.txt。create_filelist.sh内容需要按照自身图片的名称与类标情况进行修改,并持续运行(因为是在文件后面追加)内容如下:

 

#!/usr/bin/env sh

#!/bin/bash

DATA=/home/james/caffe/data/mydata/val

MY=/home/james/caffe/data/mydata

 

for i in {3122..3221}

do

echo $i.jpg 3 >> $MY/val.txt

done

 

echo "All done"

 

以上命令意思是,在val文件夹下面的图片中,名称为3122.jpg至3221.jpg的图片都是第3类,因此就会在val.txt写入:

        3122.jpg 3

        3123.jpg 3

        …

注意:此时可能会报出bad loop variable的错误,这是由于Ubuntu bash的版本的原因,可以自行查看如何解决。

c.      调整图片大小至256*256

因为之前没有仔细看caffe的相关文件,后来才知道可以使用之自动调整大小,因此此步采用的是自己调用命令进行调整大小。如果不调整图片大小的话,在运行后面命令的时候是会报错的。

   可以使用convert256.sh进行转换。注意,该命令中用到了imagemagick工具,因此如果自己没有安装的话,还需要安装该工具(命令为:sudo apt-get install imagemagick)。convert256.sh内容如下:

 

for name in/home/james/caffe/data/mydata/train/*.jpg; do

convert -resize 256x256\! $name $name

done

 

d.      构建图片数据库

要让Caffe进行图片的训练,必须有图片数据库,并且也是使用其作为输入,而非直接使用图片作为输入。使用create_imagenet.sh脚本将train与val的2组图片集转换为lmbp格式。create_imagenet.sh内容如下:

 

#!/usr/bin/env sh

# Create the imagenet lmdb inputs

# N.B. set the path to the imagenet train +val data dirs

 

EXAMPLE=/home/james/caffe/examples/mytask

DATA=/home/james/caffe/data/mydata

TOOLS=/home/james/caffe/build/tools

 

TRAIN_DATA_ROOT=/home/james/caffe/data/mydata/train/

VAL_DATA_ROOT=/home/james/caffe/data/mydata/val/

 

# Set RESIZE=true to resize the images to256x256. Leave as false if images have

# already been resized using another tool.

RESIZE=false

if $RESIZE; then

 RESIZE_HEIGHT=256

 RESIZE_WIDTH=256

else

 RESIZE_HEIGHT=0

 RESIZE_WIDTH=0

fi

 

if [ ! -d "$TRAIN_DATA_ROOT" ];then

 echo "Error: TRAIN_DATA_ROOT is not a path to a directory:$TRAIN_DATA_ROOT"

 echo "Set the TRAIN_DATA_ROOT variable in create_imagenet.sh to thepath" \

      "where the ImageNet training data is stored."

 exit 1

fi

 

if [ ! -d "$VAL_DATA_ROOT" ]; then

 echo "Error: VAL_DATA_ROOT is not a path to a directory:$VAL_DATA_ROOT"

 echo "Set the VAL_DATA_ROOT variable in create_imagenet.sh to thepath" \

      "where the ImageNet validation data is stored."

 exit 1

fi

 

echo "Creating train lmdb..."

 

GLOG_logtostderr=1 $TOOLS/convert_imageset\

   --resize_height=$RESIZE_HEIGHT \

   --resize_width=$RESIZE_WIDTH \

   --shuffle \

   $TRAIN_DATA_ROOT \

   $DATA/train.txt \

   $EXAMPLE/ilsvrc12_train_lmdb

 

echo "Creating val lmdb..."

 

GLOG_logtostderr=1 $TOOLS/convert_imageset\

   --resize_height=$RESIZE_HEIGHT \

   --resize_width=$RESIZE_WIDTH \

   --shuffle \

   $VAL_DATA_ROOT \

   $DATA/val.txt \

   $EXAMPLE/ilsvrc12_val_lmdb

 

echo "Done."

 

注:将其中的地址均修改为自己的对应地址,不是地址的就不要强行修改啦。

2.      计算图像均值

据说计算图像均值之后的训练效果会更好,使用make_imagenet_mean.sh计算图像均值,产生imagenet_mean.binaryproto文件。make_imagenet_mean.sh文件内容如下:

 

#!/usr/bin/env sh

# Compute the mean image from the imagenettraining lmdb

# N.B. this is available in data/ilsvrc12

 

EXAMPLE=/home/james/caffe/examples/mytask

DATA=/home/james/caffe/data/mydata/

TOOLS=/home/james/caffe/build/tools

 

$TOOLS/compute_image_mean$EXAMPLE/ilsvrc12_train_lmdb \

  $DATA/imagenet_mean.binaryproto

 

echo "Done."

 

注:将其中的地址修改为自己的地址,并且产生的imagenet_mean.binaryproto文件在data/mydata文件夹下,稍后设置的时候注意该路径。

3.      设置训练参数

拷贝caffe-master/model/bvlc_reference_caffenet中的文件,修改train_val.prototxt,solver.prototxt中的运行参数,并进行路径的修改;拷贝caffe_master/examples/imagenet中的train_caffnet.sh文件,对路径进行修改。

train_val.prototxt是网络的结构,内容如下:

 

name: "CaffeNet"

layer {

 name: "data"

 type: "Data"

 top: "data"

 top: "label"

 include {

   phase: TRAIN

  }

 transform_param {

   mirror: true

   crop_size: 227

   mean_file:"/home/dina/caffe/examples/mytask/imagenet_mean.binaryproto"

  }

# mean pixel / channel-wise mean instead ofmean image

# transform_param {

#   crop_size: 227

#   mean_value: 104

#   mean_value: 117

#   mean_value: 123

#   mirror: true

#  }

 data_param {

   source: "/home/dina/caffe/examples/mytask/ilsvrc12_train_lmdb"

   batch_size: 256

   backend: LMDB

  }

}

layer {

 name: "data"

 type: "Data"

 top: "data"

 top: "label"

 include {

   phase: TEST

  }

 transform_param {

   mirror: false

   crop_size: 227

   mean_file:"/home/dina/caffe/examples/mytask/imagenet_mean.binaryproto"

  }

# mean pixel / channel-wise mean instead ofmean image

# transform_param {

#   crop_size: 227

#   mean_value: 104

#   mean_value: 117

#   mean_value: 123

#   mirror: false

#  }

 data_param {

   source: "/home/dina/caffe/examples/mytask/ilsvrc12_val_lmdb"

   batch_size: 50

   backend: LMDB

  }

}

layer {

 name: "conv1"

 type: "Convolution"

 bottom: "data"

 top: "conv1"

 param {

    lr_mult: 1

   decay_mult: 1

  }

 param {

   lr_mult: 2

   decay_mult: 0

  }

 convolution_param {

   num_output: 96

   kernel_size: 11

   stride: 4

   weight_filler {

     type: "gaussian"

     std: 0.01

    }

   bias_filler {

     type: "constant"

     value: 0

    }

  }

}

layer {

 name: "relu1"

 type: "ReLU"

 bottom: "conv1"

 top: "conv1"

}

layer {

 name: "pool1"

 type: "Pooling"

 bottom: "conv1"

 top: "pool1"

 pooling_param {

   pool: MAX

   kernel_size: 3

   stride: 2

  }

}

layer {

 name: "norm1"

 type: "LRN"

 bottom: "pool1"

 top: "norm1"

 lrn_param {

   local_size: 5

   alpha: 0.0001

   beta: 0.75

  }

}

layer {

 name: "conv2"

 type: "Convolution"

 bottom: "norm1"

 top: "conv2"

 param {

    lr_mult:1

   decay_mult: 1

  }

 param {

   lr_mult: 2

   decay_mult: 0

  }

 convolution_param {

   num_output: 256

   pad: 2

   kernel_size: 5

   group: 2

   weight_filler {

     type: "gaussian"

     std: 0.01

    }

   bias_filler {

     type: "constant"

     value: 1

    }

  }

}

layer {

 name: "relu2"

 type: "ReLU"

 bottom: "conv2"

 top: "conv2"

}

layer {

 name: "pool2"

 type: "Pooling"

 bottom: "conv2"

 top: "pool2"

 pooling_param {

   pool: MAX

   kernel_size: 3

   stride: 2

  }

}

layer {

 name: "norm2"

 type: "LRN"

 bottom: "pool2"

 top: "norm2"

 lrn_param {

   local_size: 5

   alpha: 0.0001

   beta: 0.75

  }

}

layer {

 name: "conv3"

 type: "Convolution"

 bottom: "norm2"

 top: "conv3"

 param {

    lr_mult:1

   decay_mult: 1

  }

 param {

   lr_mult: 2

   decay_mult: 0

  }

 convolution_param {

   num_output: 384

   pad: 1

   kernel_size: 3

   weight_filler {

     type: "gaussian"

     std: 0.01

    }

   bias_filler {

     type: "constant"

     value: 0

    }

  }

}

layer {

 name: "relu3"

 type: "ReLU"

 bottom: "conv3"

 top: "conv3"

}

layer {

 name: "conv4"

 type: "Convolution"

 bottom: "conv3"

 top: "conv4"

 param {

   lr_mult: 1

   decay_mult: 1

  }

 param {

   lr_mult: 2

   decay_mult: 0

  }

 convolution_param {

   num_output: 384

   pad: 1

   kernel_size: 3

   group: 2

   weight_filler {

     type: "gaussian"

     std: 0.01

    }

   bias_filler {

     type: "constant"

     value: 1

    }

  }

}

layer {

 name: "relu4"

 type: "ReLU"

 bottom: "conv4"

 top: "conv4"

}

layer {

 name: "conv5"

 type: "Convolution"

 bottom: "conv4"

 top: "conv5"

 param {

   lr_mult: 1

   decay_mult: 1

  }

 param {

   lr_mult: 2

   decay_mult: 0

  }

 convolution_param {

   num_output: 256

   pad: 1

   kernel_size: 3

   group: 2

   weight_filler {

     type: "gaussian"

     std: 0.01

    }

   bias_filler {

     type: "constant"

     value: 1

    }

  }

}

layer {

 name: "relu5"

 type: "ReLU"

 bottom: "conv5"

 top: "conv5"

}

layer {

 name: "pool5"

 type: "Pooling"

 bottom: "conv5"

 top: "pool5"

 pooling_param {

   pool: MAX

   kernel_size: 3

   stride: 2

  }

}

layer {

 name: "fc6"

 type: "InnerProduct"

 bottom: "pool5"

 top: "fc6"

 param {

   lr_mult: 1

   decay_mult: 1

  }

 param {

   lr_mult: 2

   decay_mult: 0

  }

 inner_product_param {

   num_output: 4096

   weight_filler {

     type: "gaussian"

     std: 0.005

    }

   bias_filler {

     type: "constant"

     value: 1

    }

  }

}

layer {

 name: "relu6"

 type: "ReLU"

 bottom: "fc6"

 top: "fc6"

}

layer {

 name: "drop6"

 type: "Dropout"

 bottom: "fc6"

 top: "fc6"

 dropout_param {

   dropout_ratio: 0.5

  }

}

layer {

 name: "fc7"

 type: "InnerProduct"

 bottom: "fc6"

 top: "fc7"

 param {

   lr_mult: 1

   decay_mult: 1

  }

 param {

   lr_mult: 2

   decay_mult: 0

  }

 inner_product_param {

   num_output: 4096

   weight_filler {

     type: "gaussian"

     std: 0.005

    }

   bias_filler {

     type: "constant"

     value: 1

    }

  }

}

layer {

 name: "relu7"

 type: "ReLU"

 bottom: "fc7"

 top: "fc7"

}

layer {

 name: "drop7"

 type: "Dropout"

 bottom: "fc7"

 top: "fc7"

 dropout_param {

   dropout_ratio: 0.5

  }

}

layer {

 name: "fc8"

 type: "InnerProduct"

 bottom: "fc7"

 top: "fc8"

 param {

   lr_mult: 1

   decay_mult: 1

  }

 param {

   lr_mult: 2

   decay_mult: 0

  }

 inner_product_param {

   num_output: 1000

   weight_filler {

     type: "gaussian"

     std: 0.01

    }

   bias_filler {

     type: "constant"

     value: 0

    }

  }

}

layer {

 name: "accuracy"

 type: "Accuracy"

 bottom: "fc8"

 bottom: "label"

 top: "accuracy"

 include {

   phase: TEST

  }

}

layer {

 name: "loss"

 type: "SoftmaxWithLoss"

 bottom: "fc8"

 bottom: "label"

 top: "loss"

}

 

solver.prototxt是网络参数的设置,内容如下:

net:"/home/dina/caffe/examples/mytask/train_val.prototxt"

test_iter: 2

test_interval: 50

base_lr: 0.001

lr_policy: "step"

gamma: 0.1

stepsize: 100

display: 20

max_iter: 1000

momentum: 0.9

weight_decay: 0.0005

snapshot: 500

snapshot_prefix:"models/bvlc_reference_caffenet/caffenet_train"

solver_mode: GPU

 

train_caffnet.sh是运行网络的命令,内容如下:

 

#!/usr/bin/env sh

 

./build/tools/caffe train \

--solver=./examples/mytask/solver.prototxt

 

好了,可以等待训练过程了,我们的训练图片是2000个训练图片,1000个验证图片,大约过了3-4个小时,就训练好了。


1
0
查看评论

【Caffe实践】如何利用Caffe训练ImageNet分类网络

源文章:https://github.com/BVLC/caffe/tree/master/examples/imagenet 由于要使用
  • chenriwei2
  • chenriwei2
  • 2014-08-21 20:07
  • 31508

【Caffe】训练ImageNet模型

Caffe训练ImageNet使用的是NIPS 2012 paper论文的算法。   1、准备数据。 假设已经下载好数据集和验证集,存储路径为: /path/to/imagenet/train/n01440764/n01440764_10026.JPEG /p...
  • pirage
  • pirage
  • 2013-12-25 13:41
  • 65374

Windows环境下使用 Caffe在ImageNet上训练网络

在配置好Windows版的Caffe之后,可以使用Windows Caffe训练ImageNet网络,主要有4个步骤: (1)准备图片数据库 (2)将图片数据转换为Caffe可以使用的LMDB或者LevelDB类型 (3)取数据库均值 (4)开始用Caffe.exe训练网络
  • zzlyw
  • zzlyw
  • 2017-03-16 21:44
  • 2399

Caffe ImageNet例程翻译

Brewing ImageNet This guide is meant to get you ready to train your own model on your own data. If you just want an ImageNet-trained network, then ...
  • ljp12345
  • ljp12345
  • 2016-08-29 19:45
  • 470

CAFFE -FCN训练配置过程

转载自 http://blog.csdn.net/jiongnima/article/details/78549326?locationNum=3&fps=1    在2015年发表于计算机视觉顶会CVPR上的Fully Convolutional Networ...
  • u012968002
  • u012968002
  • 2018-01-03 09:55
  • 157

caffe 数据的标准化方式

(1) 减去均值方式1从caffe 给的 models/bvlc_reference_caffenet/下的训练协议train_val.prototxt transform_param { mirror: true crop_size: 227 mean_file: &qu...
  • xuluhui123
  • xuluhui123
  • 2017-12-26 10:22
  • 183

【caffe】caffenet在windows下训练以及遇到的一系列问题——【caffe学习二】

继上篇http://blog.csdn.net/qq_15947787/article/details/78351390成功编译GPU版caffe后,尝试训练自己的样本。 1.新建文件夹caffe-train,将之前编译好的D:\caffe\scripts\build\tools\Release文件...
  • qq_15947787
  • qq_15947787
  • 2017-11-02 21:34
  • 237

使用caffe中的imagenet对自己的图片进行分类训练(超级详细版)

因为自己在网络上查到的资料对于一个新手来说虽然指明了方向,但是在细节上没有给出很好的实例,因此我把自己训练的过程记录下来。 【实验环境】 物理内存:64G Free:7.5G  CPU个数:3,单个CPU物理核数:8  操作系统:Linux ...
  • u014696921
  • u014696921
  • 2016-09-17 21:53
  • 3891

使用Caffe进行图片分类

首先,贴参考:caffe_root\caffe-master\examples\imagenet, (这是windows下的脚本运行,用于训练建模) caffe_root\caffe-master\examples\cpp_classification\classification.cpp(用于分...
  • Xyzx043874
  • Xyzx043874
  • 2017-05-29 15:27
  • 282

基于caffe的图像分类(3)——修改网络并训练模型

前面做好了lmdb和均值文件,下面以Googlenet为例修改网络并训练模型。 我们将caffe-master\models下的bvlc_googlenet文件夹复制到caffe-master\examples\imagenet下。(因为我们的lmdb和均值都在这里,放一起方便些) 打开trai...
  • sinat_30071459
  • sinat_30071459
  • 2016-06-15 15:27
  • 10104
    个人资料
    • 访问:48915次
    • 积分:751
    • 等级:
    • 排名:千里之外
    • 原创:36篇
    • 转载:0篇
    • 译文:0篇
    • 评论:14条
    最新评论