caffe + win10基于CaffeNet网络框架训练自己的图片进行分类（实践篇）

最新推荐文章于 2019-05-25 23:53:48 发布
最新推荐文章于 2019-05-25 23:53:48 发布
阅读量3.7k 收藏 16
点赞数 2
分类专栏： caffe学习 文章标签： caffe分类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010682375/article/details/77777827
版权

  接触caffe一段时间了 ，一直没有自己完整的跑过自己的数据，现在使用在win10系统上配置好的caffe环境，使用caffeNet网络框架，对自己准备的图片数据集进行训练，并使用生成的模型对图片进行类别预测。接触时间比较短，有的地方理解不到位，现在整理下我处理的流程以及过程之中遇到过的问题，希望可以与大家互享经验，不足之处请大家多多指教。
  在caffe目录examples下新建my_classify文件夹，其余文件均在该目录下；

一、制作数据集

1、准备图片
  使用Corel数据集中的400图片，4类每类选取100张，其中90张作为训练集，10张作为测试集。所以训练集train中有360张图片，测试集test中有40张图片,分别存放在train与test文件夹中。

这里写图片描述

2、生成带标签的列表list.txt
  分别在train与test文件中生成list.txt列表，切记标签要从0开始。我使用python脚本分别对每个类别图像生成标签 ，然后和在一起的。（方法有点笨，附上基本的生成列表的代码，可以写个循环，直接生成train的list.txt的） 

import os
def generate(dir,label):
    files = os.listdir(dir)
    files.sort()
    print '****************'
    print 'input :',dir
    print 'start...'
    listText = open(dir+'\\'+'list.txt','w')
    for file in files:
        fileType = os.path.split(file)
        if fileType[1] == '.txt':
            continue        
        name = file + ' ' + str(int(label)) +'\n'
        listText.write(name)
    listText.close()
    print 'down!'
    print '****************'    

if __name__ == '__main__':  
    generate('D:\\caffe\\caffe-master\\examples\\my_classify\\Test',1)

生成的list.txt

这里写图片描述

注：如果label标记不从0开始，可能会导致 label_value < num_labels 问题：

这里写图片描述

3、生成lmdb格式数据集，并生成二进制imagemean.binaryproto的均值文件(size 256 256)
采用windows批处理格式的文件.bat,文件名为：convert_and_computeMean.bat 

D:\caffe\caffe-master\Build\x64\Debug\convert_imageset.exe --resize_height=256 --resize_width=256 --shuffle --backend="lmdb" train/ train/list.txt trainlmdb
D:\caffe\caffe-master\Build\x64\Debug\convert_imageset.exe --resize_height=256 --resize_width=256 --shuffle --backend="lmdb" test/ test/list.txt testlmdb
D:\caffe\caffe-master\Build\x64\Debug\compute_image_mean.exe trainlmdb image_mean.binaryproto
pause

运行结果：

这里写图片描述

生成trainlmdb、testlmdb和image_mean.binaryproto三个文件

注：如果数据集有改动，要将原来生成的trainlmdb和testlmdb删除，否则会造成如下问题：

这里写图片描述

至此数据集制作部分完成。

二、新建网络模型train_val.prototxt和solver.prototxt两个文件

这里直接使用caffeNet的网络架构模型
需要做如下更改：
1、训练集与测试集的路径，直接改成了绝对路径；
2、batch_size改成了4，crop_size改成了与图片一般大小的256；
3、最后一层的num_output设置成4，因为只有4类。

name: "CaffeNet"
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    mirror: true
    crop_size: 256
    mean_file: "D:/caffe/caffe-master/examples/my_classify/image_mean.binaryproto"
  }
  data_param {
    source: "D:/caffe/caffe-master/examples/my_classify/trainlmdb"
    batch_size: 4
    backend: LMDB
  }
}
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TEST
  }
  transform_param {
    mirror: false
    crop_size: 256
    mean_file: "D:/caffe/caffe-master/examples/my_classify/image_mean.binaryproto"
  }
  data_param {
    source: "D:/caffe/caffe-master/examples/my_classify/testlmdb"
    batch_size: 4
    backend: LMDB
  }
}
layer {
  name: "conv1"
  type: "Convolution"
  bottom: "data"
  top: "conv1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 96
    kernel_size: 11
    stride: 4
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
}
layer {
  name: "relu1"
  type: "ReLU"
  bottom: "conv1"
  top: "conv1"
}
layer {
  name: "pool1"
  type: "Pooling"
  bottom: "conv1"
  top: "pool1"
  pooling_param {
    pool: MAX
    kernel_size: 3
    stride: 2
  }
}
layer {
  name: "norm1"
  type: "LRN"
  bottom: "pool1"
  top: "norm1"
  lrn_param {
    local_size: 5
    alpha: 0.0001
    beta: 0.75
  }
}
layer {
  name: "conv2"
  type: "Convolution"
  bottom: "norm1"
  top: "conv2"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 256
    pad: 2
    kernel_size: 5
    group: 2
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 1
    }
  }
}
layer {
  name: "relu2"
  type: "ReLU"
  bottom: "conv2"
  top: "conv2"
}
layer {
  name: "pool2"
  type: "Pooling"
  bottom: "conv2"
  top: "pool2"
  pooling_param {
    pool: MAX
    kernel_size: 3
    stride: 2
  }
}
layer {
  name: "norm2"
  type: "LRN"
  bottom: "pool2"
  top: "norm2"
  lrn_param {
    local_size: 5
    alpha: 0.0001
    beta: 0.75
  }
}
layer {
  name: "conv3"
  type: "Convolution"
  bottom: "norm2"
  top: "conv3"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 384
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
}
layer {
  name: "relu3"
  type: "ReLU"
  bottom: "conv3"
  top: "conv3"
}
layer {
  name: "conv4"
  type: "Convolution"
  bottom: "conv3"
  top: "conv4"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 384
    pad: 1
    kernel_size: 3
    group: 2
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 1
    }
  }
}
layer {
  name: "relu4"
  type: "ReLU"
  bottom: "conv4"
  top: "conv4"
}
layer {
  name: "conv5"
  type: "Convolution"
  bottom: "conv4"
  top: "conv5"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 256
    pad: 1
    kernel_size: 3
    group: 2
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 1
    }
  }
}
layer {
  name: "relu5"
  type: "ReLU"
  bottom: "conv5"
  top: "conv5"
}
layer {
  name: "pool5"
  type: "Pooling"
  bottom: "conv5"
  top: "pool5"
  pooling_param {
    pool: MAX
    kernel_size: 3
    stride: 2
  }
}
layer {
  name: "fc6"
  type: "InnerProduct"
  bottom: "pool5"
  top: "fc6"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  inner_product_param {
    num_output: 4096
    weight_filler {
      type: "gaussian"
      std: 0.005
    }
    bias_filler {
      type: "constant"
      value: 1
    }
  }
}
layer {
  name: "relu6"
  type: "ReLU"
  bottom: "fc6"
  top: "fc6"
}
layer {
  name: "drop6"
  type: "Dropout"
  bottom: "fc6"
  top: "fc6"
  dropout_param {
    dropout_ratio: 0.5
  }
}
layer {
  name: "fc7"
  type: "InnerProduct"
  bottom: "fc6"
  top: "fc7"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  inner_product_param {
    num_output: 4096
    weight_filler {
      type: "gaussian"
      std: 0.005
    }
    bias_filler {
      type: "constant"
      value: 1
    }
  }
}
layer {
  name: "relu7"
  type: "ReLU"
  bottom: "fc7"
  top: "fc7"
}
layer {
  name: "drop7"
  type: "Dropout"
  bottom: "fc7"
  top: "fc7"
  dropout_param {
    dropout_ratio: 0.5
  }
}
layer {
  name: "fc8"
  type: "InnerProduct"
  bottom: "fc7"
  top: "fc8"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  inner_product_param {
    num_output: 4
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
}
layer {
  name: "accuracy"
  type: "Accuracy"
  bottom: "fc8"
  bottom: "label"
  top: "accuracy"
  include {
    phase: TEST
  }
}
layer {
  name: "loss"
  type: "SoftmaxWithLoss"
  bottom: "fc8"
  bottom: "label"
  top: "loss"
}

solver.prototxt文件

net: "D:/caffe/caffe-master/examples/my_classify/train_val.prototxt"
test_iter: 2
test_interval: 50
base_lr: 0.001
lr_policy: "step"
gamma: 0.1
stepsize: 100
display: 20
max_iter: 500
momentum: 0.9
weight_decay: 0.005
solver_mode: GPU
snapshot: 200
snapshot_prefix: "D:/caffe/caffe-master/examples/my_classify/train"

至此网络搭建部分结束，接下来可以开始训练

三、训练

新建train.bat文件

caffe.exe train --solver=solver.prototxt --gpu=all
pause

训练结果，其中accuracy=0.625挺低的，首先训练集不够多，其次迭代次数较少

这里写图片描述

训练结束会生成xxx.caffemodel和xxx.solverstate分别存储训练过程的参数和中段的参数信息

四、利用生成的模型使用python接口测试自己的数据

1、通过脚本将image_mean.binaryproto转换成python可以识别的mean.npy文件

import caffe
import numpy as np

MEAN_PROTO_PATH = 'image_mean.binaryproto'            
MEAN_NPY_PATH = 'mean.npy'                        

blob = caffe.proto.caffe_pb2.BlobProto()        
data = open(MEAN_PROTO_PATH, 'rb' ).read()         
blob.ParseFromString(data)                      

array = np.array(caffe.io.blobproto_to_array(blob))
mean_npy = array[0]                            
np.save(MEAN_NPY_PATH ,mean_npy)

2、编写与train_val.prototxt对应的deploy.prototxt用于测试的网络模型

name: "CaffeNet"
layer {
  name: "data"
  type: "Input"
  top: "data"
  input_param { shape: { dim: 10 dim: 3 dim: 256 dim: 256 } }
}
layer {
  name: "conv1"
  type: "Convolution"
  bottom: "data"
  top: "conv1"
  convolution_param {
    num_output: 96
    kernel_size: 11
    stride: 4
  }
}
layer {
  name: "relu1"
  type: "ReLU"
  bottom: "conv1"
  top: "conv1"
}
layer {
  name: "pool1"
  type: "Pooling"
  bottom: "conv1"
  top: "pool1"
  pooling_param {
    pool: MAX
    kernel_size: 3
    stride: 2
  }
}
layer {
  name: "norm1"
  type: "LRN"
  bottom: "pool1"
  top: "norm1"
  lrn_param {
    local_size: 5
    alpha: 0.0001
    beta: 0.75
  }
}
layer {
  name: "conv2"
  type: "Convolution"
  bottom: "norm1"
  top: "conv2"
  convolution_param {
    num_output: 256
    pad: 2
    kernel_size: 5
    group: 2
  }
}
layer {
  name: "relu2"
  type: "ReLU"
  bottom: "conv2"
  top: "conv2"
}
layer {
  name: "pool2"
  type: "Pooling"
  bottom: "conv2"
  top: "pool2"
  pooling_param {
    pool: MAX
    kernel_size: 3
    stride: 2
  }
}
layer {
  name: "norm2"
  type: "LRN"
  bottom: "pool2"
  top: "norm2"
  lrn_param {
    local_size: 5
    alpha: 0.0001
    beta: 0.75
  }
}
layer {
  name: "conv3"
  type: "Convolution"
  bottom: "norm2"
  top: "conv3"
  convolution_param {
    num_output: 384
    pad: 1
    kernel_size: 3
  }
}
layer {
  name: "relu3"
  type: "ReLU"
  bottom: "conv3"
  top: "conv3"
}
layer {
  name: "conv4"
  type: "Convolution"
  bottom: "conv3"
  top: "conv4"
  convolution_param {
    num_output: 384
    pad: 1
    kernel_size: 3
    group: 2
  }
}
layer {
  name: "relu4"
  type: "ReLU"
  bottom: "conv4"
  top: "conv4"
}
layer {
  name: "conv5"
  type: "Convolution"
  bottom: "conv4"
  top: "conv5"
  convolution_param {
    num_output: 256
    pad: 1
    kernel_size: 3
    group: 2
  }
}
layer {
  name: "relu5"
  type: "ReLU"
  bottom: "conv5"
  top: "conv5"
}
layer {
  name: "pool5"
  type: "Pooling"
  bottom: "conv5"
  top: "pool5"
  pooling_param {
    pool: MAX
    kernel_size: 3
    stride: 2
  }
}
layer {
  name: "fc6"
  type: "InnerProduct"
  bottom: "pool5"
  top: "fc6"
  inner_product_param {
    num_output: 4096
  }
}
layer {
  name: "relu6"
  type: "ReLU"
  bottom: "fc6"
  top: "fc6"
}
layer {
  name: "drop6"
  type: "Dropout"
  bottom: "fc6"
  top: "fc6"
  dropout_param {
    dropout_ratio: 0.5
  }
}
layer {
  name: "fc7"
  type: "InnerProduct"
  bottom: "fc6"
  top: "fc7"
  inner_product_param {
    num_output: 4096
  }
}
layer {
  name: "relu7"
  type: "ReLU"
  bottom: "fc7"
  top: "fc7"
}
layer {
  name: "drop7"
  type: "Dropout"
  bottom: "fc7"
  top: "fc7"
  dropout_param {
    dropout_ratio: 0.5
  }
}
layer {
  name: "fc8"
  type: "InnerProduct"
  bottom: "fc7"
  top: "fc8"
  inner_product_param {
    num_output: 4
  }
}
layer {
  name: "prob"
  type: "Softmax"
  bottom: "fc8"
  top: "prob"
}

3、编写python接口

import caffe
import numpy as np 

root = 'D:/caffe/caffe-master/examples/my_classify/'
#设置测试网络
deploy = root + 'deploy.prototxt'
#添加训练的网络权重参数
caffe_model = root + 'train_iter_500.caffemodel'
#测试图片
img = root + '4.jpg'
#标签文件
label_file = root + 'label.txt'
#均值文件
mean_file = root + 'mean.npy'
#设置使用GPU
caffe.set_model_gpu()
#构造一个net
net = caffe.Net(deploy,caffe_model,caffe.TEST)
# 得到data的形状，这里的图片是默认matplotlib底层加载的
transformer = caffe.io.Transformer({'data':net.blobs['data'].data.shape})
# matplotlib加载的image是像素[0-1],图片的数据格式[weight,high,channels]，RGB
# caffe加载的图片需要的是[0-255]像素，数据格式[channels,weight,high],BGR，那么就需要转换
transformer.set_transpose('data', (2,0,1))
transformer.set_mean('data', np.load(mean_file).mean(1).mean(1))
# 图片像素放大到[0-255]
transformer.set_raw_scale('data', 255)
# RGB-->BGR 转换
transformer.set_channel_swap('data', (2,1,0))
#设置输入的图片shape，1张，3通道，长宽都是256
net.blobs['data'].reshape(1,3,256,256)
#加载图片
im = caffe.io.load_image(img)
net.blobs['data'].data[...] = transformer.preprocess('data', im)
#输出每层网络的name和shape
for layer_name,blob in net.blobs.iteritems():
    print layer_name + '\t' + str(blob.data.shape)
#网络向前传播
out = net.forward()
labels = np.loadtxt(label_file,str,delimiter = '\t')
prob = net.blobs['prob'].data[0].flatten()

print prob
order = prob.argsort()[-1]
#输出类别
print 'the class is:',labels[order]

测试图片为：这里写图片描述
分类结果为：这里写图片描述

Xiaoli_Coding
关注
  • 2
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Windows caffe（四） 训练自己的图片数据
逗逗飞的专栏
03-21 1505
前一次实验将原始的图片数据转化为caffe可以运行的lmdb格式。 本次实验完整分析，如何训练自己的图片数据。 毕竟我们学习caffe要应用到实际的科研/工作中，而不仅仅停留在实验上。 一、实验准备 1、实验数据来自国外的医疗数据，官网，百度网盘下载（部分数据）。当然如果你有自己的数据，可以训练自己的数据。 2、Git bash可以让你直接在windows下运行shell脚本。下载地址
照片归类软件
02-18
可以用于专业的照片分类 生活中我们有时候会累计大量照片，这个时候需要对照片进行分类，这里提供一个小工具，可以对大量照片进行快速分类，并且小工具还带有恢复功能，万一对分类不满意，可以恢复原来的位置关系，使用安全放心。
图像特征分类识别程序
12-29
基于matlab的 图像特征分类识别 图像处理 分割 树叶图像特征提取
基于win10的vs2013运行caffe （cpu only）
09-11
前后花了3天时间跑起来了一个demo，感受是：不要在window上用caffe，特别是在visual studio 里面运行project，不如装个ubuntu，如果非要用，下面的这个参考一下。
数码照片自动分类整理工具
11-03
软件功能： 1.可以处理子目录 2.可以定义整理的目录格式 3.可以自动按照日期重命名照片文件名 4.可以将照片自动扶正
windows vs2017 opencv3 caffe模块 深度神经网络 物体识别
07-22
OpenCV3.3中的DNN模块实现实例,安装3.3版本及以上的opencv版本，本例用于测试该dnn模块在图像识别中的作用，资源中有完整的代码以及bvlc_googlenet.caffemodel以及测试图片。
用自己的数据进行CaffeNet训练模型
02-02
win7环境下，用自己的数据进行CaffeNet训练模型，亲测可行！
win10编译caffe.txt
05-11
win10系统亲测可用。先配置caffe文件，再安装并打开VS软件进行编译。在线安装包的编译过程缓慢，可直接用Nugetpackage部署程序包作为依赖项进行编译即可。
使用Caffe对图片进行训练并分类的简单流程1
08-08
然后可以直接用文件名运行 #3.默认label信息显示在终端，请使用转向符'>'生成文本，例： # $ sh ./mklabel.sh dat
基于卷积神经网络Caffe框架的图像分类.pdf
09-26
基于卷积神经网络Caffe框架的图像分类.pdf
Windows下caffe安装详解(仅CPU) 训练测试mnist数据集
12-13
博文是win7 64下的caffe布置，亲测入门学习深度学习，在此过程中的需要生成的文件和遇到的问题以及解决方案
windows下利用caffe训练自己的图像分类模型
yigeng3663的博客
11-03 1348
1.通过自己的数据生成对应的数据标签，分为train和txt，第一列为图片路径     2. 生成lmdb文件 第一个路径为你图片保存的目录，第二个为第一步生成的txt保存的目录，第三个是生成的lmdb文件保存的目录 convert_imageset.exe  --shuffle   --resize_height=256   --resize_width=256  C:/Users/ja...
win10用caffe训练自己的数据
ma1096539894的博客
08-20 511
1、将数据按照种类放在不同的文件夹下，每个文件夹下新建一个bat文件，内容类似 dir/s/on/b&gt;d:/train.txt 或者dir /b/s/p/w *.jpg &gt; train.txt  标签必须从0开始 2、利用convert_imageset.exe生成对应的leveldb格式数据，注意参数和路径，参数部分可以查看conver_imageset.cpp文件中的定义。写一个...
caffe windows 训练自己的图片数据
03-31 6708
caffe训练自己的数据分为四步： 1、图片数据集准备 2、网络训练所需数据格式 lmdb / leveldb 转换 3、图像均值文件计算 4、网络训练 具体过程如下：   一、图片数据集准备          图片数据收集一般是十分耗时的，为简便说明，此处使用两类数据进行训练过程介绍。一类是background，一类是object。对于样本图片需要说一点，就是一定要归一到同一尺寸，
照片分类管理工具
haitao@深圳
12-31 2714
 google的picasa虽然功能强大、操作很酷，但是没有我希望的2个管理功能1、tag们能成层次树状——picasa没有tag，但是它的逻辑相册相当于tag，只是相册之间没有什么关系我希望：人物 家庭 亲戚  xx一家  yy一家 同学  中学  大学 朋友  同事  前同事   xx公司   yy公司 网友  xx论坛  yy网站事件 出差
win10 下 caffe 的第一个测试程序（附带详细讲解）
生命在于折腾！
05-25 1900
https://github.com/pglushkov/LBG_VQ/tree/master/lbg_vq_cpp
caffe yolov4训练自己的数据集
最新发布
07-12
要使用Caffe和YOLOv4来训练自己的数据集，你需要按照以下步骤进行操作： 1. 数据集准备：收集和标注你自己的数据集。确保每个图像都有相应的边界框标注，指示目标的位置和类别。 2. 数据集转换：将数据集转换为YOLOv4所需的格式。YOLOv4使用特定的数据格式，包括图像和标注文件。你可以使用脚本或工具将标注数据转换为YOLOv4格式。 3. 下载预训练模型：在开始训练之前，你可以从互联网上下载一个预训练的YOLOv4模型，作为起点。这将帮助你更快地收敛和提高性能。 4. 配置网络：根据你的数据集和需求，配置YOLOv4网络模型。这包括设置输入图像尺寸、类别数量等参数。 5. 训练模型：使用Caffe的训练工具来训练YOLOv4模型。通过指定配置文件和数据集路径，以及设置训练参数，例如学习率、迭代次数等。 6. 调优和评估：在训练过程中，你可以调整各种参数和超参数以优化模型性能。同时，记得使用评估数据集来评估模型的准确性和性能。 7. 推理和应用：在训练完成后，你可以使用训练好的YOLOv4模型进行目标检测任务。将模型加载到Caffe中，并使用自己的图像进行推理。 请注意，这只是一个高级指南，实际操作可能涉及更多的细节和步骤。确保你对Caffe和YOLOv4有一定的了解，并参考相关文档和教程来进行实际的训练过程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值