关闭

Caffe中文件参数设置(九-2):训练和测试自己的数据集-windows10版本

标签: caffe小项目自己的数据集测试layer
60人阅读 评论(0) 收藏 举报
分类:

一、从网上自己下载数据集

1.1我下载了两类图片,分别为“鸟”:30张;“猫”:30张(注意:随意下载即可)


 二、数据集处理

2.1批量重命名

方法:将文件全部选中,然后右键点击重命名,修改如图所示:


2.2批量转换图片大小(先预定设置成28*28)

使用一般的看图软件就可以转换。(我这里使用2345看图王)

注意:在样本转换为LEVEDB文件之前,需要把图片弄到同一大小,否则会出错。

2.3准备训练和测试数据文件夹

(1)“鸟”和“猫”每一种选择25张图片作为训练集合,剩余5张作为测试集合

(2)所以最后train文件夹中由50张图片,test文件夹中由10张图片

2.4制作标签文件(txt

手动制作如下:(在后面标明是哪一类,我这里使用0表示鸟,1表示猫)



三、编写脚本文件

(1)对测试数据集进行转换:先用txt文件编写,然后将后缀改为.bat然后双击运行就可以了

脚本文件内容如下:

SET GLOG_logtostderr=1
D:\caffe-master\Build\x64\Debug\convert_imageset.exe --backend=leveldb C:\Users\Administrator\Desktop\data\test\ C:\Users\Administrator\Desktop\data\test.txt C:\Users\Administrator\Desktop\data\mtestldb 
pause

(2)对训练集进行转换

脚本文件内容如下:

SET GLOG_logtostderr=1
D:\caffe-master\Build\x64\Debug\convert_imageset.exe --backend=leveldb C:\Users\Administrator\Desktop\data\train\ C:\Users\Administrator\Desktop\data\train.txt C:\Users\Administrator\Desktop\data\mtrainldb 
pause

(3)均值计算

脚本内容如下:

D:\caffe-master\Build\x64\Debug\compute_image_mean.exe C:\Users\Administrator\Desktop\data\mtrainldb mean.binaryproto --backend=leveldb
pause

(4)train-test文件夹中拷贝cifar10中的这俩文件然后进行修改

(5)运行脚本创建

Caffe.bat

脚本内容如下:

SET GLOG_logtostderr=1
D:\caffe-master\Build\x64\Debug\caffe.exe train --solver C:\Users\Administrator\Desktop\data\train-test\cifar10_quick_solver.prototxt

按图修改即可,然后双击caffe.bat就会自动运行了

注意:要记得修改lenet_solver.protptxtlenet_train_test.prototxt中的东西

 

四、经过以上步骤后,你的数据集文件夹中应包含如下文件:


五、

(1)这个batch_size表示一次读取的图片数量

(2)需要修改的地方1

name: "CIFAR10_quick"
layer {
  name: "cifar"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {        //【第1块修改的地方】下面是均值文件所在的路径,改为你自己的均值文件所在的路径
    mean_file: "data/mine/train_mean.binaryproto"
  }
  data_param {            //【第2块修改的地方】下面改为训练样本生成的数据库所在的目录[注意:是训练样本数据库]
    source: "data/mine/mtrainldb"
    batch_size: 50    //【第3块修改的地方】由于我们的训练样本不多,所以我们一次读入50张图片就好
    backend: LEVELDB
  }
}
layer {
  name: "cifar"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TEST
  }
  transform_param {    //【第4块修改的地方】下面是均值文件所在的路径,改为你自己的均值文件所在的路径
    mean_file: "data/mine/train_mean.binaryproto"
  }
  data_param {      //【第5块修改的地方】下面改为测试样本生成的数据库所在的目录[注意:是测试样本数据库]
    source: "data/mine/mtestldb"
    batch_size: 50//【第6块修改的地方】由于我们的测试样本只有150张,所以我们一次读入50张图片就好
    backend: LEVELDB
  }
}
layer {
  name: "conv1"
  type: "Convolution"
  bottom: "data"
  top: "conv1"
  param {
    lr_mult: 1
  }
  param {
    lr_mult: 2
  }

   中间的省略......
layer {
  name: "ip2"
  type: "InnerProduct"
  bottom: "ip1"
  top: "ip2"
  param {
    lr_mult: 1
  }
  param {
    lr_mult: 2
  }
  inner_product_param {
    num_output: 3         //【第7块修改的地方】我们现在是3分类问题,所以将第二个全连接层改为3
    weight_filler {
      type: "gaussian"
      std: 0.1
    }
    bias_filler {
      type: "constant"
    }
  }
}
layer {
  name: "accuracy"
  type: "Accuracy"
  bottom: "ip2"
  bottom: "label"
  top: "accuracy"
  include {
    phase: TEST
  }
}
layer {
  name: "loss"
  type: "SoftmaxWithLoss"
  bottom: "ip2"
  bottom: "label"
  top: "loss"
}


(3)需要修改的地方2

//【1】改为你自己的网络模型配置文件的目录
net: "data/mine/train-val/cifar10_quick_train_test.prototxt"
//【2】预测阶段迭代次数,设为3,因为batch_size设为50,这样就可以覆盖150张测试集图片
test_iter: 3
//【3】每迭代50次, 进行一次测试
test_interval: 50
//【4】权值学习率,其实就是在反向传播阶段,权值每次的调整量的程度
base_lr: 0.001
momentum: 0.9
weight_decay: 0.004
//【5】在整个过程中,我们使用固定的学习率,也可尝试使用可变学习率
lr_policy: "fixed"
//【6】因为想观察每一次训练的变化,所以设置迭代一次显示一次内容
display: 1
//【7】将最大迭代次数设为4000
max_iter: 4000
//【8】每迭代1000次输出一次结果
snapshot: 1000
//【9】输出格式
snapshot_format: HDF5
//【10】输出文件的前缀
snapshot_prefix: "data/mine/cifar10_quick"
//【11】用的是CPU
solver_mode: CPU
注意:在修改路径的时候,路径中不能含有中文,同时路径格式要正确,转义字符要用“/”或者“\\”,不可以使用“\”
(4)


这个错误是刚刚修改的solver层设置出现了问题,回去继续修改就可以了。

至于如何修改,我现在刚刚接触,还在学习中,如果哪位朋友有好的资料可以分享以下,谢谢大家了。

0
0
查看评论

CNN:Windows下编译使用Caffe和Caffe2

       用于检测的CNN分为基于回归网络的方法和基于区域+CNN网络的方法,其中基于回归网络的方法典型为YOLO9000,可以兼容使用VGG-Net框架。其中基于区域+CNN网络方法,大量使用了Caffe作为基础CNN框架。 ...
  • wishchin
  • wishchin
  • 2017-09-14 14:28
  • 2304

caffe2 02 caffe2 win10 vs2015编译(默认CPU版本)

01 基本环境win10 vs2015 Git python3.5.3 cmake-gui(3.7.2)caffe2 github地址:https://github.com/caffe2/caffe2caffe2的依赖库都已经采用submodule形式集成到代码中了。caffe2...
  • longji
  • longji
  • 2017-04-24 13:44
  • 6320

caffe2 01 caffe2 win10 vs2017编译(默认CPU版本)

01 基本环境 win10 vs2017 git python3.5.3 cmake-gui(3.7.2)caffe2 github地址:https://github.com/caffe2/caffe2caffe2的依赖库都已经采用submodule形式集成到代码中了。caffe2编译重点...
  • longji
  • longji
  • 2017-04-24 11:57
  • 5530

Windows10下安装caffe2 支持GPU和CPU

Windows10下安装caffe21. 使用 Windows10 64位操作系统(Windows7 64位也可以,8和8.1没测试)2. 安装 en Visual Studio Professional 2015 Update3,并勾选C++/CLI support 装英文版是为了不产生乱码 ...
  • sin574
  • sin574
  • 2017-12-09 18:11
  • 1580

Window下的Caffe2编译

Windows下的caffe2编译
  • mist99
  • mist99
  • 2017-11-21 19:14
  • 539

Windows Caffe常见问题解决 以及如何更换为自己的Opencv

参考 一 Caffe编译gpumxGPUArrayh Not Found 二 This project references NuGet packages that are missing on this computer 三 error MSB4062 未能从程序集 DWindowsCaffeNu...
  • u010548772
  • u010548772
  • 2018-01-11 11:29
  • 118

Windows+CPU+Caffe配置与运行

一:目的 实现Windows版本Caffe(no GPU)的配置,并运行MNIST数据集以验证Caffe配置的正确性; 二:环境 1. Win 10(64位) 2. VS 2013 三:配置 1. Caffe-Windows下载; (1) 下载Caffe-Windows,并解压...
  • nichengwuxiao
  • nichengwuxiao
  • 2018-01-21 01:07
  • 62

Caffe学习笔记2:Windows下安装和搭建caffe框架

小菜在这里要感谢实习老师张xx,是他的无私奉献。他把他之前安装和搭建caffe框架的过程全部记录下来了写成文档了,小菜是按照他caffe学习笔记一步一步安装的,让小菜少走了许多弯路,不过小菜在安装的额过程中也出现了许多错误,小菜参考了一个大牛的博客,是博客园的以为前辈,还有小菜在讨论群里请教了一些大...
  • xjz18298268521
  • xjz18298268521
  • 2016-08-12 11:28
  • 8705

caffe 有关prototxt文件的设置解读

solver算是caffe的核心的核心,它协调着整个模型的运作。caffe程序运行必带的一个参数就是solver配置文件。运行代码一般为 [plain] view plain copy   ./bulid/tools/caffe train&...
  • u014696921
  • u014696921
  • 2016-08-09 20:44
  • 7057

Windows系统下VS2013+caffe的安装

笔者作为一名深度学习小白,今日开始打算入门caffe框架。而caffe的安装过程没想到出现各种问题,虽参考众多博客,均未完美解决,故集众家所长,贴上一文,希望帮助和我一样的新手。笔者环境为win10+vs2013。本文尤其感谢http://blog.csdn.net/tina_ttl/article...
  • u012780572
  • u012780572
  • 2016-10-08 18:30
  • 4704
    个人资料
    • 访问:1285次
    • 积分:255
    • 等级:
    • 排名:千里之外
    • 原创:20篇
    • 转载:11篇
    • 译文:0篇
    • 评论:0条
    文章分类
    文章存档