caffe 训练 vgg

最新推荐文章于 2024-05-12 18:09:25 发布
最新推荐文章于 2024-05-12 18:09:25 发布
阅读量2.1k 收藏 10
点赞数
分类专栏： 深度学习 caffe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33144323/article/details/81661573
版权

使用VGG训练Imagenet

准备数据

具体官网地址，请点击这里

ImageNet官网

训练数据集：ILSVRC2012_img_train.tar

验证数据集：ILSVRC2012_img_val.tar

数据解压

sudo tar –xvf ILSVRC2012_img_train.tar -C ./train 
sudo tar –xvf ILSVRC2012_img_val.tar -C ./val

对于val数据集，解压以后是所有的验证集图片，共50000张，大约6.3G。

对于train数据集，解压后是1000个tar文件，每个tar文件表示1000类里的一个类，共138G，对于1000个子tar，需要再次解压，解压脚本unzip.sh如下

dir=/home/satisfie/imagenet/train #satisfie 是我的用户名
for x in `ls *.tar`
do
    filename=`basename $x .tar`   #注意空格
    mkdir $filename
    tar -xvf $x -C ./$filename
done

原始数据就准备好了，分别放在

  • /home/jhj1/imagenet/train：里面有1000个文件夹，每个文件夹下为JPG图片

  • /home/jhj1/imagenet/val ：里面有验证集的50000张图片

接下来下载标签等其他说明数据~~~

下载其他数据

进入大caffe根目录，执行/data/ilsvrc12/get_ilsvrc_aux.sh下载其他数据，包括

  • det_synset_words.txt
  • synset_words.txt— 1000个类别的文件夹名称及真是物体的名称，比如 “n01440764 tench Tinca tinca”,在训练中，这些都当做一个类别。
  • synsets.txt — 1000个类别的文件夹名称,比如”n01440764”…
  • train.txt — 1000个类别每张图片的名字及其标签，比如 “n01440764/n01440764_10026.JPEG 0” 共有1281167张图片
  • val.txt — 同上，总共有50000张。比如“ILSVRC2012_val_00000001.JPEG 65”
  • test.txt — 同上，为测试集合,总有100000张
  • imagenet_mean.binaryproto — 模型图片的各个通道均值
  • imagenet.bet.pickle

模型的训练

训练数据准备（这里我们直接使用图片，数据转换仅为学习参考）

1.转换数据格式为lmdb文件

所有的图片都归一化为256*256的大小，对于一个长方形图片，首先将短边变成256的长度，然后剪裁图片中心的256*256部分。

将examples/imagenet/create_imagenet.sh文件中，将为RESIZE=false更改为RESIZE=true，将所有图片归一化为256*256的大小。注意需将文件中的训练数据集和测试数据集的地址更改为服务器中实际存放的地址，即文件中设置

TRAIN_DATA_ROOT=/dataset/ imagenet/train/

VAL_DATA_ROOT=/dataset/imagenet/val/

执行该文件后生成训练数据和验证数据的lmdb数据库：ilsvrc12_train_lmdb 、ilsvrc12_val_lmdb。

3.得到均值文件

 训练集图片的平均值存储于data/ilsvrc12/imagenet_mean.binaryproto。如果没有该文件，执行

./examples/imagenet/make_imagenet_mean.sh可以生成该文件。

4.这里由于转化为lmdb数据库格式需要耗费较大的空间，且不支持shuffle等操作，所以这里直接读取原图片，使用的类型是ImageData，具体看下面的prototxt

其中的train_new.txt中对每张图片的加上了绝对值路径，这样才能被读取。 
使用sed命令即可，

sed 's/^/\/home\/jhj1\/imagenet\/val\/&/g' val.txt >val_new.txt

VGG_train_val.prototxt

name: "VGG_ILSVRC_16_layers"
layer {
  name: "data"
  type: "ImageData"
  include {
    phase: TRAIN
  }
 transform_param {
    #crop_size: 224
    mean_value: 104
    mean_value: 117
    mean_value: 123
    mirror: true
 }
 image_data_param {
    source: "/home/jhj1/imagenet/train_new.txt"
    batch_size: 8
    new_height: 224
    new_width: 224
  }
  top: "data"
  top: "label"
}
layer {
  name: "data"
  type: "ImageData"
  include {
    phase: TEST
  }
 transform_param {
    #crop_size: 224
    mean_value: 104
    mean_value: 117
    mean_value: 123
    mirror: false
 }
 image_data_param {
    source: "/home/jhj1/imagenet/val_new.txt"
    batch_size: 4
    new_height: 224
    new_width: 224
  }
  top: "data"
  top: "label"
}
layer {
  bottom: "data"
  top: "conv1_1"
  name: "conv1_1"
  type: "Convolution"
  convolution_param {
    num_output: 64
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv1_1"
  top: "conv1_1"
  name: "relu1_1"
  type: "ReLU"
}
layer {
  bottom: "conv1_1"
  top: "conv1_2"
  name: "conv1_2"
  type: "Convolution"
  convolution_param {
    num_output: 64
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv1_2"
  top: "conv1_2"
  name: "relu1_2"
  type: "ReLU"
}
layer {
  bottom: "conv1_2"
  top: "pool1"
  name: "pool1"
  type: "Pooling"
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layer {
  bottom: "pool1"
  top: "conv2_1"
  name: "conv2_1"
  type: "Convolution"
  convolution_param {
    num_output: 128
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 0
  }
  param {
    lr_mult: 0
  }
}
layer {
  bottom: "conv2_1"
  top: "conv2_1"
  name: "relu2_1"
  type: "ReLU"
}
layer {
  bottom: "conv2_1"
  top: "conv2_2"
  name: "conv2_2"
  type: "Convolution"
  convolution_param {
    num_output: 128
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv2_2"
  top: "conv2_2"
  name: "relu2_2"
  type: "ReLU"
}
layer {
  bottom: "conv2_2"
  top: "pool2"
  name: "pool2"
  type: "Pooling"
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layer {
  bottom: "pool2"
  top: "conv3_1"
  name: "conv3_1"
  type: "Convolution"
  convolution_param {
    num_output: 256
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv3_1"
  top: "conv3_1"
  name: "relu3_1"
  type: "ReLU"
}
layer {
  bottom: "conv3_1"
  top: "conv3_2"
  name: "conv3_2"
  type: "Convolution"
  convolution_param {
    num_output: 256
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv3_2"
  top: "conv3_2"
  name: "relu3_2"
  type: "ReLU"
}
layer {
  bottom: "conv3_2"
  top: "conv3_3"
  name: "conv3_3"
  type: "Convolution"
  convolution_param {
    num_output: 256
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv3_3"
  top: "conv3_3"
  name: "relu3_3"
  type: "ReLU"
}
layer {
  bottom: "conv3_3"
  top: "pool3"
  name: "pool3"
  type: "Pooling"
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layer {
  bottom: "pool3"
  top: "conv4_1"
  name: "conv4_1"
  type: "Convolution"
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv4_1"
  top: "conv4_1"
  name: "relu4_1"
  type: "ReLU"
}
layer {
  bottom: "conv4_1"
  top: "conv4_2"
  name: "conv4_2"
  type: "Convolution"
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv4_2"
  top: "conv4_2"
  name: "relu4_2"
  type: "ReLU"
}
layer {
  bottom: "conv4_2"
  top: "conv4_3"
  name: "conv4_3"
  type: "Convolution"
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv4_3"
  top: "conv4_3"
  name: "relu4_3"
  type: "ReLU"
}
layer {
  bottom: "conv4_3"
  top: "pool4"
  name: "pool4"
  type: "Pooling"
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layer {
  bottom: "pool4"
  top: "conv5_1"
  name: "conv5_1"
  type: "Convolution"
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv5_1"
  top: "conv5_1"
  name: "relu5_1"
  type: "ReLU"
}
layer {
  bottom: "conv5_1"
  top: "conv5_2"
  name: "conv5_2"
  type: "Convolution"
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv5_2"
  top: "conv5_2"
  name: "relu5_2"
  type: "ReLU"
}
layer {
  bottom: "conv5_2"
  top: "conv5_3"
  name: "conv5_3"
  type: "Convolution"
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv5_3"
  top: "conv5_3"
  name: "relu5_3"
  type: "ReLU"
}
layer {
  bottom: "conv5_3"
  top: "pool5"
  name: "pool5"
  type: "Pooling"
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layer {
  bottom: "pool5"
  top: "fc6"
  name: "fc6"
  type: "InnerProduct"
  inner_product_param {
    num_output: 4096
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "fc6"
  top: "fc6"
  name: "relu6"
  type: "ReLU"
}
layer {
  bottom: "fc6"
  top: "fc6"
  name: "drop6"
  type: "Dropout"
  dropout_param {
    dropout_ratio: 0.5
  }
}
layer {
  bottom: "fc6"
  top: "fc7"
  name: "fc7"
  type: "InnerProduct"
  inner_product_param {
    num_output: 4096
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "fc7"
  top: "fc7"
  name: "relu7"
  type: "ReLU"
}
layer {
  bottom: "fc7"
  top: "fc7"
  name: "drop7"
  type: "Dropout"
  dropout_param {
    dropout_ratio: 0.5
  }
}
layer {
  name: "fc8"
  bottom: "fc7"
  top: "fc8"
  type: "InnerProduct"
  inner_product_param {
    num_output: 1000
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  name: "loss"
  type: "SoftmaxWithLoss"
  bottom: "fc8"
  bottom: "label"
  top: "loss/loss"
}
layer {
  name: "accuracy/top1"
  type: "Accuracy"
  bottom: "fc8"
  bottom: "label"
  top: "accuracy@1"
  include: { phase: TEST }
  accuracy_param {
    top_k: 1
  }
}
layer {
  name: "accuracy/top5"
  type: "Accuracy"
  bottom: "fc8"
  bottom: "label"
  top: "accuracy@5"
  include: { phase: TEST }
  accuracy_param {
    top_k: 5
  }
}

solver.prototxt

net: "models/vgg/train_val.prototxt"
test_iter: 10000
test_interval: 40000
test_initialization: false
display: 200
base_lr: 0.0001
lr_policy: "step"
stepsize: 320000
gamma: 0.96
max_iter: 10000000
momentum: 0.9
weight_decay: 0.0005
snapshot: 800000
snapshot_prefix: "models/vgg/vgg"
solver_mode: GPU

开始训练：（保存训练输出到log 并绘制accuracy loss曲线）

设置训练配置文件参数，保存训练时的参数至log文件

二、开始训练后，在log目录里面生成“log-2017-03-22-10-33-20.log”日志文件

三、解析log中的内容 分成train和 test 会在当前文件夹下生成log-data.train 和 log-data.test两个文件

cd  tools/extra

  ./parse_log.sh  log-2017-03-22-10-33-20.log

 

四、调用py程序绘制图形 

cd tools/extra

./plot_training_log.py.example 0 save.png log-data.log

其中0代表曲线类型， save.png 代表保存的图片名称  caffe中支持很多种曲线绘制，通过指定不同的类型参数即可，具体参数如下

Notes:    1. Supporting multiple logs.    

          2. Log file name must end with the lower-cased ".log".

 Supported chart types:    0: Test accuracy  vs. Iters    1: Test accuracy  vs. Seconds    2: Test loss  vs. Iters     3: Test loss  vs. Seconds     4: Train learning rate  vs. Iters    5: Train learning rate  vs. Seconds     6: Train loss  vs. Iters     7: Train loss  vs. Seconds

其结果如下：

./plot_training_log.py.example 0 save.png /home/lw/caffe/examples/testCreateLmDB/log/log-2017-03-22-10-33-20.log


 

 

 

./plot_training_log.py.example 2 save.png /home/lw/caffe/examples/testCreateLmDB/log/log-2017-03-22-10-33-20.log

 

 

https://blog.csdn.net/kesonyk/article/details/53819132

https://blog.csdn.net/liuweizj12/article/details/64920428

频率52HZ
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
vgg-16 caffemodel
04-30
vgg-16的ssd-caffe的预训练模型.
caffe 利用VGG训练自己的数据
weixin_30596165的博客
05-17 173
写这个是因为有童鞋在跑VGG的时候遇到各种问题，供参考一下。 网络结构 以VGG16为例，自己跑的细胞数据 solver.prototxt： net: "/media/dl/source/Experiment/cell/test/vgg/vgg16.prototxt" test_iter: 42 test_interval: 1000 base_lr: 0.0001 lr_po...
笔记3：torch训练测试VGG网络
最新发布
qq_2787174606的博客
05-12 348
train loss和train corre分别代表损失和正确率，横轴是不同迭代下每一个伦次的loss&corre累加，一个迭代进行33个轮次，每个迭代最后一个伦次数据不足被网络舍弃，10个迭代总共320次。python生成上图代码如下，其中GETVGGnet是搭建VGG网络的程序GETVGGnet.py，VGGnet是该程序中的搭建网络类。此次训练在CPU上进行，迭代次epoch = 10，迭代内轮次batch=300，训练集10000张，测试集2000张。训练的损失和正确率在波动，但总体趋势较好。
caffe VGGNet 人脸识别
10-15
参考博客 http://blog.csdn.net/mr_curry/article/details/52468349，需要配置libface，可以参考http://blog.csdn.net/sinat_31425585/article/details/77891844，然后将VGG_FACE.caffemodel放在工程下面，就可以运行！
caffe python接口训练VGG
斯大分的博客
02-27 406
# -*- coding: utf-8 -*- """ @author: root """ #matplotlib是python最著名的绘图库 import matplotlib.pyplot as plt import caffe #import cv2 from numpy import * caffe.set_device(0) caffe.set_mode_gpu() solver =...
[caffe]深度学习之图像分类模型VGG解读
热门推荐
孙佰贵的专栏
07-01 10万+
vgg和googlenet是2014年imagenet竞赛的双雄，这两类模型结构有一个共同特点是go deeper。跟googlenet不同的是，vgg继承了lenet以及alexnet的一些框架，尤其是跟alexnet框架非常像，vgg也是5个group的卷积、2层fc图像特征、一层fc分类特征，可以看做和alexnet一样总共8个part。根据前5个卷积group，每个group中的不同配置，vgg论文中给出了A~E这五种配置，卷积层数从8到16递增。从论文中可以看到从8到16随着卷积层的一步步加深，貌
vgg-face:使用pytorch加载vgg-face预训练的caffe模型
05-14
在PyTorch框架中加载VGG-Face的预训练Caffe模型，可以方便地进行人脸特征提取和识别。下面将详细介绍这个过程以及相关技术。 首先，VGG-Face模型是基于VGG网络结构的，该结构由Simonyan和Zisserman在2014年提出，以...
VGG_19_layers_Network-master_caffe_VGG-19_vgg19_VGG-19Network_卷积
10-02
在这个项目中，VGG-19模型被移植到Caffe中，用户可以通过配置文件来调整模型参数，并进行训练、测试和推理。 6. **训练与对比**：VGG-19模型可以用来对比不同网络架构的性能，通过在相同的数据集上进行训练，评估其...
VGG_ILSVRC_16_layers_fc_reduced.caffemodel
04-28
VGG_ILSVRC_16_layers_fc_reduced.caffemodel是一个深度学习模型，主要用于物体识别任务，它在计算机视觉领域有着广泛的应用。该模型的名称揭示了它的几个关键特性，让我们逐一深入探讨。 首先，"VGG"代表Visual ...
caffe训练图像分类的资源
03-21
在这个“caffe训练图像分类的资源”中，我们拥有预分类的图像数据，包括猫、狗、卡通人物和花这四类，分别作为正样本和测试样本。这些资源对于理解和实践Caffe的图像分类功能非常有价值。 首先，了解Caffe。Caffe是...
VGG_VOC0712_SSD_300x300_iter_120000.caffemodel
08-21
VGG_VOC0712_SSD_300x300_iter_120000.caffemodel，caffe-SSD下已经训练好的VGG模型文件，希望对大家有所帮助。
vgg 16 和19 的 prototxt
05-04
用于博客中卷积神经网络可视化部分vgg模型的参数包括vgg16 和vgg19
VGG_ILSVRC_16_layers_deploy.prototxt
10-12
caffe训练 fcn需要的vgg VGG_ILSVRC_16_layers_deploy
caffe学习笔记21-VggNet论文笔记
YiLiang
03-05 3055
caffe学习记录
改写VGGNet训练自己的数据集(caffe)
小膜仙的博客
02-25 418
caffe:使用VGGNet训练自己的数据集 前言 今天跑完了样例，又用训练好的googlenet来搞了一下物体识别，接下来就得训练自己的模型了。发现许多操作跟样例是相似的，所以打算先进一步研读样例中层数的编写过程，然后再自己动手修改。 待续… ...
Caffe VGG训练图片分类任务
DreamLike_zzg的博客
09-01 686
准备数据集 train.txt test.txt 每行一个图片绝对路径+空格+类别标号，eg “绝对path/001.jpg 0” 构建model VGG主页http://www.robots.ox.ac.uk/~vgg/research/very_deep/ 下载weights（VGG_ILSVRC_16_layers.caffemodel）和网络prototxt（VGG_ILS...
基于 vs2013 + caffe 的 人脸图像 vgg 特征提取
xueshanchina的博客
04-19 2725
安装vs2013 略 安装CUDA+cuDNN 网上关于caffe配置GPU的很多，这里再次略过。后面按照cpu的说。 下载caffe按照cpu编译 微软版caffe下载地址： https://github.com/Microsoft/caffe 编译思路：先将libcaffe设为启动项进行编译。编译过程中会报错。原因是math_functions.cpp文件编码问题，只需将math_fun
使用现有的基于caffe训练好的imagenet model进行图片分类
脚踏实地
01-25 4695
经常使用caffe进行图片分类，用了经常忘了当初怎么配置的，现在记录下。 caffe 主页  http://caffe.berkeleyvision.org github 项目主页 https://github.com/BVLC/caffe/ caffe官网主页using the C++ API进行图片分类教程 http://caffe.berkeleyvision.org/gathere
vgg16_caffe.pth
07-31
vgg16_caffe.pth是一个预训练的深度神经网络模型文件。VGG16是一个卷积神经网络模型的名称，caffe.pth表示该模型是使用Caffe框架进行训练和保存的。 VGG16是由牛津大学的研究团队开发的，被广泛应用于计算机视觉...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值