caffe模型训练全过程（一）脚本、数据准备与制作

最新推荐文章于 2024-04-15 07:19:26 发布
最新推荐文章于 2024-04-15 07:19:26 发布
阅读量3.8k 收藏 22
点赞数 5
分类专栏： Linux caffe 文章标签： caffe deep learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dyingstraw/article/details/79967359
版权

1.首先建立工程文件夹

文件夹结构如下

|——project
    ├── create_imagenet.sh  #生成lmdb文件的脚本
    |——train_lmdb
        ├── data.mdb
        └── lock.mdb            #存放输出的训练集lmdb文件
    |——val_lmdb
        ├── data.mdb\
        └── lock.mdb            #存放输出的测试集lmdb文件
    ├── models              #存放输出的模型
        ├── solver_iter_2576.caffemodel
        └── solver_iter_2576.solverstate
    ├── other               #其他备份文件
    ├── solver.prototxt         #solver配置文件
    ├── train                   #测试数据集
        ├── positivite          l#存放类别1的图片
        └── negative_eg     #存放类别2的图片
    ├── train_caffenet.sh       #运行此脚本开始训练
    ├── train.txt               #存放训练集路径集合
    ├── train_val.prototxt      #caffe模型结构配置文件
    ├── val                 #测试集数据
    └── val.txt             #测试训练图片

2.制作LMDB数据源

首先生成train.txt and val.txt两个包含路径的文本文件

其如下：

train.txt

positivite/IMG_000001.jpg 1
positivite/IMG_000002.jpg 1
positivite/IMG_000003.jpg 1
positivite/IMG_000008.jpg 1
positivite/IMG_000010.jpg 1
positivite/IMG_000014.jpg 1
positivite/IMG_000016.jpg 1
positivite/IMG_000017.jpg 1
positivite/IMG_000018.jpg 1
positivite/IMG_000020.jpg 1
positivite/IMG_000022.jpg 1
positivite/IMG_000023.jpg 1
positivite/IMG_000026.jpg 1
positivite/IMG_000028.jpg 1
positivite/IMG_000029.jpg 1
positivite/IMG_000031.jpg 1
positivite/IMG_000032.jpg 1
positivite/IMG_000037.jpg 1
positivite/IMG_000039.jpg 1
positivite/IMG_000040.jpg 1
positivite/IMG_000042.jpg 1
positivite/IMG_000044.jpg 1
.....................
val.txt
positivite/IMG_000162.jpg 1
positivite/IMG_000164.jpg 1
positivite/IMG_000165.jpg 1
positivite/IMG_000167.jpg 1
positivite/IMG_000168.jpg 1
positivite/IMG_000170.jpg 1
positivite/IMG_000171.jpg 1
positivite/IMG_000174.jpg 1
positivite/IMG_000177.jpg 1
positivite/IMG_000179.jpg 1
positivite/IMG_000180.jpg 1
positivite/IMG_000184.jpg 1
positivite/IMG_000186.jpg 1
positivite/IMG_000188.jpg 1
positivite/IMG_000189.jpg 1
positivite/IMG_000194.jpg 1
positivite/IMG_000196.jpg 1
positivite/IMG_000199.jpg 1
positivite/IMG_000201.jpg 1
positivite/IMG_000202.jpg 1
positivite/IMG_000203.jpg 1
negative_eg/IMG_000180_3.jpg 0
negative_eg/IMG_000184_0.jpg 0
negative_eg/IMG_000184_1.jpg 0
negative_eg/IMG_000184_2.jpg 0
negative_eg/IMG_000184_3.jpg 0
negative_eg/IMG_000186_0.jpg 0
> negative_eg/IMG_000186_1.jpg 0
........................

3.修改一下create_imagenet.sh

主要就是改写汉语注释部分

#!/usr/bin/env sh
# Create the imagenet lmdb inputs
# N.B. set the path to the imagenet train + val data dirs
set -e
#案例路径
EXAMPLE=/home/ubuntu/hudie_detection_case 
#数据根目录
DATA=/home/ubuntu/hudie_detection_case
#caffebuild/tools的绝对路径
TOOLS=/home/ubuntu/caffe/caffe/build/tools
#测试数据和训练数据根目录
TRAIN_DATA_ROOT=/home/ubuntu/hudie_detection_case/train/
VAL_DATA_ROOT=/home/ubuntu/hudie_detection_case/train/

# Set RESIZE=true to resize the images to 256x256. Leave as false if images have
# already been resized using another tool.
#根据需求是否需要把图片缩放成统一大小
RESIZE=true
if $RESIZE; then
  RESIZE_HEIGHT=227
  RESIZE_WIDTH=227
else
  RESIZE_HEIGHT=0
  RESIZE_WIDTH=0
fi

if [ ! -d "$TRAIN_DATA_ROOT" ]; then
  echo "Error: TRAIN_DATA_ROOT is not a path to a directory: $TRAIN_DATA_ROOT"
  echo "Set the TRAIN_DATA_ROOT variable in create_imagenet.sh to the path" \
       "where the ImageNet training data is stored."
  exit 1
fi

if [ ! -d "$VAL_DATA_ROOT" ]; then
  echo "Error: VAL_DATA_ROOT is not a path to a directory: $VAL_DATA_ROOT"
  echo "Set the VAL_DATA_ROOT variable in create_imagenet.sh to the path" \
       "where the ImageNet validation data is stored."
  exit 1
fi

echo "Creating train lmdb..."

GLOG_logtostderr=1 $TOOLS/convert_imageset \
    --resize_height=$RESIZE_HEIGHT \
    --resize_width=$RESIZE_WIDTH \
    --shuffle \
    $TRAIN_DATA_ROOT \
    $DATA/train.txt \
    $EXAMPLE/ilsvrc12_train_lmdb

echo "Creating val lmdb..."

GLOG_logtostderr=1 $TOOLS/convert_imageset \
    --resize_height=$RESIZE_HEIGHT \
    --resize_width=$RESIZE_WIDTH \
    --shuffle \
    $VAL_DATA_ROOT \
    $DATA/val.txt \
    $EXAMPLE/ilsvrc12_val_lmdb

echo "Done."

这些准备完毕之后，运行sudo sh ./create_imagenet.sh，如果没有报错，恭喜！报错了，可能是caffe依赖包没有安装好或者重新执行上述步骤。

4.制作神经网络模型train_val.prototxt

这里使用的是AlexNet模型，此处主要修改输入文件路径，输出路径，以及softmax层的输出类数，已用黑体标出（分类个数）

name: "AlexNet"
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    mirror: true
    crop_size: 227
    #mean_file: "data/ilsvrc12/imagenet_mean.binaryproto"
  }
  data_param {
    **source: "/home/ubuntu/hudie_detection_case/ilsvrc12_train_lmdb"**
    batch_size: 2
    backend: LMDB
  }
}
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TEST
  }
  transform_param {
    mirror: false
    crop_size: 227
    #mean_file: "data/ilsvrc12/imagenet_mean.binaryproto"
  }
  data_param {
    **source: "/home/ubuntu/hudie_detection_case/ilsvrc12_val_lmdb"**
    batch_size: 2
    backend: LMDB
  }
}
layer {
  name: "conv1"
  type: "Convolution"
  bottom: "data"
  top: "conv1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 96
    kernel_size: 11
    stride: 4
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
}
layer {
  name: "relu1"
  type: "ReLU"
  bottom: "conv1"
  top: "conv1"
}
layer {
  name: "norm1"
  type: "LRN"
  bottom: "conv1"
  top: "norm1"
  lrn_param {
    local_size: 5
    alpha: 0.0001
    beta: 0.75
  }
}
layer {
  name: "pool1"
  type: "Pooling"
  bottom: "norm1"
  top: "pool1"
  pooling_param {
    pool: MAX
    kernel_size: 3
    stride: 2
  }
}
layer {
  name: "conv2"
  type: "Convolution"
  bottom: "pool1"
  top: "conv2"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 256
    pad: 2
    kernel_size: 5
    group: 2
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0.1
    }
  }
}
layer {
  name: "relu2"
  type: "ReLU"
  bottom: "conv2"
  top: "conv2"
}
layer {
  name: "norm2"
  type: "LRN"
  bottom: "conv2"
  top: "norm2"
  lrn_param {
    local_size: 5
    alpha: 0.0001
    beta: 0.75
  }
}
layer {
  name: "pool2"
  type: "Pooling"
  bottom: "norm2"
  top: "pool2"
  pooling_param {
    pool: MAX
    kernel_size: 3
    stride: 2
  }
}
layer {
  name: "conv3"
  type: "Convolution"
  bottom: "pool2"
  top: "conv3"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 384
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
}
layer {
  name: "relu3"
  type: "ReLU"
  bottom: "conv3"
  top: "conv3"
}
layer {
  name: "conv4"
  type: "Convolution"
  bottom: "conv3"
  top: "conv4"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 384
    pad: 1
    kernel_size: 3
    group: 2
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0.1
    }
  }
}
layer {
  name: "relu4"
  type: "ReLU"
  bottom: "conv4"
  top: "conv4"
}
layer {
  name: "conv5"
  type: "Convolution"
  bottom: "conv4"
  top: "conv5"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 256
    pad: 1
    kernel_size: 3
    group: 2
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0.1
    }
  }
}
layer {
  name: "relu5"
  type: "ReLU"
  bottom: "conv5"
  top: "conv5"
}
layer {
  name: "pool5"
  type: "Pooling"
  bottom: "conv5"
  top: "pool5"
  pooling_param {
    pool: MAX
    kernel_size: 3
    stride: 2
  }
}
layer {
  name: "fc6"
  type: "InnerProduct"
  bottom: "pool5"
  top: "fc6"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  inner_product_param {
    num_output: 4096
    weight_filler {
      type: "gaussian"
      std: 0.005
    }
    bias_filler {
      type: "constant"
      value: 0.1
    }
  }
}
layer {
  name: "relu6"
  type: "ReLU"
  bottom: "fc6"
  top: "fc6"
}
layer {
  name: "drop6"
  type: "Dropout"
  bottom: "fc6"
  top: "fc6"
  dropout_param {
    dropout_ratio: 0.5
  }
}
layer {
  name: "fc7"
  type: "InnerProduct"
  bottom: "fc6"
  top: "fc7"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  inner_product_param {
    num_output: 4096
    weight_filler {
      type: "gaussian"
      std: 0.005
    }
    bias_filler {
      type: "constant"
      value: 0.1
    }
  }
}
layer {
  name: "relu7"
  type: "ReLU"
  bottom: "fc7"
  top: "fc7"
}
layer {
  name: "drop7"
  type: "Dropout"
  bottom: "fc7"
  top: "fc7"
  dropout_param {
    dropout_ratio: 0.5
  }
}
layer {
  name: "fc8"
  type: "InnerProduct"
  bottom: "fc7"
  top: "fc8"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  inner_product_param {
    **num_output: 2**
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
}
layer {
  name: "accuracy"
  type: "Accuracy"
  bottom: "fc8"
  bottom: "label"
  top: "accuracy"
  include {
    phase: TEST
  }
}
layer {
  name: "loss"
  type: "SoftmaxWithLoss"
  bottom: "fc8"
  bottom: "label"
  top: "loss"
}

5.之后修改slover.prototxt

主要参数已黑体

**net: "/home/ubuntu/hudie_detection_case/train_val.prototxt"**
test_iter: 1000
test_interval: 1000
#基础学习率
**base_lr: 0.001**
lr_policy: "step"
gamma: 0.1
stepsize: 100000
#每训练20次显示信息
**display: 20**
max_iter: 450000
momentum: 0.9
weight_decay: 0.0005
#每训练10000次保存模型，路径为models
**snapshot: 10000**
snapshot_prefix: "models"
solver_mode: CPU

完成这些，后紧接着就是紧张而又缓慢的训练工作了，可能十几分钟，可能十几天。看你的数据量大小和模型法咋都了

6. 运行train_caffenet.sh

其内容如下

#!/usr/bin/env sh
set -e
#caffe 路径
/home/ubuntu/caffe/caffe/build/tools/caffe train \
    --solver=/home/ubuntu/hudie_detection_case/solver.prototxt $@

训练界面（部分截图）如下，接下来就等吧：
这里写图片描述
这里写图片描述

dyingstraw
关注
  • 5
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
caffe学习系列：训练自己的图片集（超详细教程）
Cche的博客
01-06 6万+
学习的caffe的目的，不是简单的做几个练习，而是最终落实到自己的项目或科研中去。因此，本文介绍一下，从自己的原始图片到lmdb数据，再到训练和测试的整个流程。 一、数据的准备     有条件的同学，可以去ImageNet的官网点击打开链接，下载ImageNet图片来训练。但是我没有下载，因为我注册过程中一直出现bug。     我重新找了500张图片来代替，分为大巴车、恐龙、大象、鲜花和马
CAFFE学习笔记（一）Caffe_Example之训练mnist
悠望南山的博客
05-07 7117
参照caffe官网《Training LeNet on MNIST with Caffe》，让caffe第一次跑起来，让自己有个直观的感受。
Caffe学习：从头到尾跑一遍模型的训练和测试
持久决心的博客
10-27 1万+
最近开始学习caffe，最开始应该是因为自己急功近利，想直接用caffe模型达到自己的目的，感觉有点无从下手。现在不得不踏实下来，扎实的一步步学习。看了大牛徐其华随笔分类 - caffe系列教程，收获颇丰。在这里记录下自己学习训练和测试模型的过程，可以说相关知识是完全来自Caffe学习系列(12)：训练和测试自己的图片，只是记录一下自己实践中的问题和感悟。 在这里，再次对乐于分享的博主徐其华表示衷
caffe-ssd训练自己的数据集，create_list/data.sh、trainval等txt文件生成脚本、训练脚本修改
08-08
caffe-ssd训练自己的数据集时需要修改create_list/data.sh文件，并且需要生成trainval等txt文件存放样本的文件名，以及最后训练脚本的修改，附件为以上操作所需要的文件
Caffe的深度学习训练全过程
02-25
本文为大数据杂谈4月20日微信社群分享内容整理。今天的目标是使用Caffe完成深度学习训练的全过程。Caffe是一款十分知名的深度学习框架，由加州大学伯克利分校的贾扬清博士于2013年在Github上发布。自那时起，Caffe在研究界和工业界都受到了极大的关注。Caffe的使用比较简单，代码易于扩展，运行速度得到了工业界的认可，同时还有十分成熟的社区。对于刚开始学习深度学习的同学来说，Caffe是一款十分十分适合的开源框架。可其他同类型的框架，它又一个最大的特点，就是代码和框架比较简单，适合深入了解分析。今天将要介绍的内容都是Caffe中成型很久的内容，如今绝大多数版本的Caffe都包含这些功
Ubuntu下caff跑mnist、vgg、imagnet等简单模型
wangjie36的博客
06-23 590
一，Ubuntu下跑caffe Caffe，全称Convolutional Architecture for Fast Feature Embedding。 ----卷积神经网络框架 caffe是一个清晰，可读性高，快速的深度学习框架。作者是贾扬清，加州大学伯克利的ph.D，现就职于Facebook。 其精炼简单，是入门深度学习的必经之路，其具体配置过程如下：系统准备：联网的Ubuntu16.04 步骤： 1，下载配置caffe所需的依赖包 打开shell(终端)，获取root权限，方法：输入.
linux跑caffe模型的步骤,Caffe初步实践——使用训练好的模型完成语义分割任务
weixin_35591736的博客
05-14 347
Caffe刚刚安装配置结束，乘热打铁！(一)环境准备前面我有两篇文章写到caffe的搭建，第一篇cpu only ，第二篇是在服务器上搭建的，其中第二篇因为硬件环境更佳我们的步骤稍显复杂。其实，第二篇也仅仅是caffe的初步搭建完成，还没有编译python接口，那么下面我们一起搞定吧！在这篇博文的结尾，我们再增加编译Python接口，而这部分内容请参考我的博文《 Ubuntu14.04搭建Caff...
深度学习框架拾遗：【Pytorch（四）】——Pytorch文本数据建模流程
u013010473的博客
03-08 2243
Step 1.数据准备 这里会用到torchtext包，常见API如下： torchtext.data.Example : 用来表示一个样本，数据和标签 torchtext.vocab.Vocab: 词汇表，可以导入一些预训练词向量 torchtext.data.Datasets: 数据集类，__getitem__返回 Example实例, torchtext.data.TabularDataset是其子类。 torchtext.data.Field : 用来定义字段的处理方法（文本字段，标签字段）创建
NLP - 15 分钟搭建中文文本分类模型
studyvcmfc的专栏
04-30 382
https://eliyar.biz/nlp_chinese_text_classification_in_15mins/
paddleocr文本识别模型的训练
热门推荐
didiaopao的博客
10-20 1万+
1、准备数据 训练自己的模型首先要有数据集，在我写的《paddleocr文本检测模型的训练》这篇文章的时候我已经提供了一份数据集，里面包含了文本检测和识别的数据集，由于那篇文章是文本检测的训练，所以只用到了文本检测的数据集，这里我用的是文本识别的数据集，有需要数据的可以去那篇文章里面找数据。文章链接。让我们来直观的感受一下数据集，数据集照片的图片如下所示： 数据的标签如下图所示，就是每行的前面是图片的路径，后面为该图片的标签内容。 这里要注意的是：txt文件中默...
用自己的数据进行CaffeNet训练模型
02-02
win7环境下，用自己的数据进行CaffeNet训练模型，亲测可行！
caffe在windows环境下的模型训练测试
05-15
第一个用于caffe模型训练，第二个用于MNIST数据到Leveldb格式转换 （3）训练配置文件（lenet_train_test.prototxt, lenet_solver.prototxt）,cmd命令行代码和训练完成后的模型（lenet_iter_10000.caffemodel）。
python接口调用已训练好的caffe模型测试分类方法
09-18
今天小编就为大家分享一篇python接口调用已训练好的caffe模型测试分类方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
caffe目标检测模型训练全过程（三）目标检测第一步
dyingstraw的博客
04-22 4691
遍历整图查找蝴蝶位置2018/04/22训练模型对于识别背景和蝴蝶有比较好的效果，基本对不会识别错误，接下来，将通过整图遍历的原始而又野蛮的方式对一张原始图片进行处理，进而查找到蝴蝶的具体位置。具体思路如下图。对原图进行缩放成理想大小，例如，最小边长缩放为227*6像素，最大边长等比缩放：设置滑动窗大小为227*227像素设置滑动窗移动步长为# 自动step_size scale =min(im...
微信小程序语音识别开发过程笔记
dyingstraw的博客
09-13 3940
由于业务需求，需要使用微信小程序语音识别的功能，查找了好多发难，也踩了好多坑，把过程记录一下，或许会帮助到需要的朋友。 业务需求： 在小程序中识别用户语音输入的命令 业务环境和关键技术： 1.小程序： 关键流程流程： 录音存储-->上传录音文件到服务器后台-->读取服务器返回结果 关键代码： //按键按下事件 startRec:function(res){ ...
caffe目标检测模型训练全过程（二）python加载caffemodel分类
dyingstraw的博客
04-22 2117
继上篇 caffe目标检测模型训练全过程（一）脚本、数据准备与制作 之后，我们训练出来了其模型，如图所示： models2_iter_70000.caffemodel 就是需要调用的模型，70000表示模型训练了70000次后所保存的模型，其他也是一样的。 记下来，使用python加载模型，然后进行识别，首先对处理好的227*227大小的处理好的图片进行识别。 代码如下： net...
一个linux主机与手机或者其他电脑共享文件的小工具开发
dyingstraw的博客
04-24 1017
思路： 再linux电脑是运行一个http server，然后需要传输文件的设备去访问这个http服务。 效果： 首先再linux端运行python脚本--根据提示选择一个你的内网IP，如果没有提示就不要管了。之后生成了一个二维码，手机扫码就可以访问服务，电脑端没办法扫码可以直接访问二维码下面的地址。可以直接打开pdf，其他的文件类型也可以直接下载，非常nice 服务端 手机端访问...
[matlab]matcaffe在matlab2023a安装和配置过程
最新发布
FL1623863129的博客
04-15 1505
将C:\Users\Administrator\Desktop\caffe-windows\build\install\matlab\+caffe\private\Release里面的caffe_.mexw64放到上一级目录中即。添加目录是C:\Users\Administrator\Desktop\caffe-windows\build\install\matlab\+caffe。放入C:\Users\Administrator\Desktop\caffe-windows\matlab\demo。
已经训练好的caffe模型下载
10-16
在下载已经训练好的caffe模型之前，首先需要确定模型的来源和可靠性。可以通过官方网站、论坛或专门的模型库来获取可信赖的模型。接下来，按照以下步骤来下载模型： 1. 打开模型下载链接或网站，查找适合你任务的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值