使用VGG训练Imagenet

最新推荐文章于 2024-09-29 20:15:10 发布
最新推荐文章于 2024-09-29 20:15:10 发布
阅读量2.7w 收藏 26
点赞数 3
分类专栏： Keson's Think 文章标签： imagenet vgg
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kesonyk/article/details/53819132
版权

使用VGG训练Imagenet

以前的笔记，放上来吧~~~

准备数据

具体官网地址，请点击这里

ImageNet官网

训练数据集：ILSVRC2012_img_train.tar

验证数据集：ILSVRC2012_img_val.tar

数据解压

sudo tar –xvf ILSVRC2012_img_train.tar -C ./train
sudo tar –xvf ILSVRC2012_img_val.tar -C ./val

对于val数据集，解压以后是所有的验证集图片，共50000张，大约6.3G。

对于train数据集，解压后是1000个tar文件，每个tar文件表示1000类里的一个类，共138G，对于1000个子tar，需要再次解压，解压脚本unzip.sh如下

dir=/home/satisfie/imagenet/train #satisfie 是我的用户名
for x in `ls *.tar`
do
    filename=`basename $x .tar`   #注意空格
    mkdir $filename
    tar -xvf $x -C ./$filename
done

i7 6700K配合我的500G固态硬盘解压超快，到这原始数据就准备好了，分别放在

  • /home/satisfie/imagenet/train：里面有1000个文件夹，每个文件夹下为JPG图片

  • /home/satisfie/imagenet/val ：里面有验证集的50000张图片

接下来下载标签等其他说明数据~~~

下载其他数据

进入大caffe根目录，执行/data/ilsvrc12/get_ilsvrc_aux.sh下载其他数据，包括

  • det_synset_words.txt
  • synset_words.txt— 1000个类别的文件夹名称及真是物体的名称，比如 “n01440764 tench Tinca tinca”,在训练中，这些都当做一个类别。
  • synsets.txt — 1000个类别的文件夹名称,比如”n01440764”…
  • train.txt — 1000个类别每张图片的名字及其标签，比如 “n01440764/n01440764_10026.JPEG 0” 共有1281167张图片
  • val.txt — 同上，总共有50000张。比如“ILSVRC2012_val_00000001.JPEG 65”
  • test.txt — 同上，为测试集合,总有100000张
  • imagenet_mean.binaryproto — 模型图片的各个通道均值
  • imagenet.bet.pickle

模型的训练

训练数据准备

由于转化为lmdb数据库格式需要耗费较大的空间，且不支持shuffle等操作，所以这里直接读取原图片，使用的类型是ImageData，具体看下面的prototxt

其中的train_new.txt中对每张图片的加上了绝对值路径，这样才能被读取。
使用sed命令即可，

sed 's/^/\/home\/satisfie\/imagenet\/val\/&/g' val.txt >val_new.txt

VGG_train_val.prototxt

name: "VGG_ILSVRC_16_layers"
layer {
  name: "data"
  type: "ImageData"
  include {
    phase: TRAIN
  }
 transform_param {
    #crop_size: 224
    mean_value: 104
    mean_value: 117
    mean_value: 123
    mirror: true
 }
 image_data_param {
    source: "/home/satisfie/imagenet/train_new.txt"
    batch_size: 8
    new_height: 224
    new_width: 224
  }
  top: "data"
  top: "label"
}
layer {
  name: "data"
  type: "ImageData"
  include {
    phase: TEST
  }
 transform_param {
    #crop_size: 224
    mean_value: 104
    mean_value: 117
    mean_value: 123
    mirror: false
 }
 image_data_param {
    source: "/home/satisfie/imagenet/val_new.txt"
    batch_size: 4
    new_height: 224
    new_width: 224
  }
  top: "data"
  top: "label"
}
layer {
  bottom: "data"
  top: "conv1_1"
  name: "conv1_1"
  type: "Convolution"
  convolution_param {
    num_output: 64
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv1_1"
  top: "conv1_1"
  name: "relu1_1"
  type: "ReLU"
}
layer {
  bottom: "conv1_1"
  top: "conv1_2"
  name: "conv1_2"
  type: "Convolution"
  convolution_param {
    num_output: 64
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv1_2"
  top: "conv1_2"
  name: "relu1_2"
  type: "ReLU"
}
layer {
  bottom: "conv1_2"
  top: "pool1"
  name: "pool1"
  type: "Pooling"
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layer {
  bottom: "pool1"
  top: "conv2_1"
  name: "conv2_1"
  type: "Convolution"
  convolution_param {
    num_output: 128
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 0
  }
  param {
    lr_mult: 0
  }
}
layer {
  bottom: "conv2_1"
  top: "conv2_1"
  name: "relu2_1"
  type: "ReLU"
}
layer {
  bottom: "conv2_1"
  top: "conv2_2"
  name: "conv2_2"
  type: "Convolution"
  convolution_param {
    num_output: 128
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv2_2"
  top: "conv2_2"
  name: "relu2_2"
  type: "ReLU"
}
layer {
  bottom: "conv2_2"
  top: "pool2"
  name: "pool2"
  type: "Pooling"
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layer {
  bottom: "pool2"
  top: "conv3_1"
  name: "conv3_1"
  type: "Convolution"
  convolution_param {
    num_output: 256
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv3_1"
  top: "conv3_1"
  name: "relu3_1"
  type: "ReLU"
}
layer {
  bottom: "conv3_1"
  top: "conv3_2"
  name: "conv3_2"
  type: "Convolution"
  convolution_param {
    num_output: 256
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv3_2"
  top: "conv3_2"
  name: "relu3_2"
  type: "ReLU"
}
layer {
  bottom: "conv3_2"
  top: "conv3_3"
  name: "conv3_3"
  type: "Convolution"
  convolution_param {
    num_output: 256
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv3_3"
  top: "conv3_3"
  name: "relu3_3"
  type: "ReLU"
}
layer {
  bottom: "conv3_3"
  top: "pool3"
  name: "pool3"
  type: "Pooling"
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layer {
  bottom: "pool3"
  top: "conv4_1"
  name: "conv4_1"
  type: "Convolution"
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv4_1"
  top: "conv4_1"
  name: "relu4_1"
  type: "ReLU"
}
layer {
  bottom: "conv4_1"
  top: "conv4_2"
  name: "conv4_2"
  type: "Convolution"
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv4_2"
  top: "conv4_2"
  name: "relu4_2"
  type: "ReLU"
}
layer {
  bottom: "conv4_2"
  top: "conv4_3"
  name: "conv4_3"
  type: "Convolution"
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv4_3"
  top: "conv4_3"
  name: "relu4_3"
  type: "ReLU"
}
layer {
  bottom: "conv4_3"
  top: "pool4"
  name: "pool4"
  type: "Pooling"
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layer {
  bottom: "pool4"
  top: "conv5_1"
  name: "conv5_1"
  type: "Convolution"
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv5_1"
  top: "conv5_1"
  name: "relu5_1"
  type: "ReLU"
}
layer {
  bottom: "conv5_1"
  top: "conv5_2"
  name: "conv5_2"
  type: "Convolution"
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv5_2"
  top: "conv5_2"
  name: "relu5_2"
  type: "ReLU"
}
layer {
  bottom: "conv5_2"
  top: "conv5_3"
  name: "conv5_3"
  type: "Convolution"
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "conv5_3"
  top: "conv5_3"
  name: "relu5_3"
  type: "ReLU"
}
layer {
  bottom: "conv5_3"
  top: "pool5"
  name: "pool5"
  type: "Pooling"
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layer {
  bottom: "pool5"
  top: "fc6"
  name: "fc6"
  type: "InnerProduct"
  inner_product_param {
    num_output: 4096
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "fc6"
  top: "fc6"
  name: "relu6"
  type: "ReLU"
}
layer {
  bottom: "fc6"
  top: "fc6"
  name: "drop6"
  type: "Dropout"
  dropout_param {
    dropout_ratio: 0.5
  }
}
layer {
  bottom: "fc6"
  top: "fc7"
  name: "fc7"
  type: "InnerProduct"
  inner_product_param {
    num_output: 4096
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  bottom: "fc7"
  top: "fc7"
  name: "relu7"
  type: "ReLU"
}
layer {
  bottom: "fc7"
  top: "fc7"
  name: "drop7"
  type: "Dropout"
  dropout_param {
    dropout_ratio: 0.5
  }
}
layer {
  name: "fc8"
  bottom: "fc7"
  top: "fc8"
  type: "InnerProduct"
  inner_product_param {
    num_output: 1000
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  param {
    lr_mult: 1
    decay_mult :1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
}
layer {
  name: "loss"
  type: "SoftmaxWithLoss"
  bottom: "fc8"
  bottom: "label"
  top: "loss/loss"
}
layer {
  name: "accuracy/top1"
  type: "Accuracy"
  bottom: "fc8"
  bottom: "label"
  top: "accuracy@1"
  include: { phase: TEST }
  accuracy_param {
    top_k: 1
  }
}
layer {
  name: "accuracy/top5"
  type: "Accuracy"
  bottom: "fc8"
  bottom: "label"
  top: "accuracy@5"
  include: { phase: TEST }
  accuracy_param {
    top_k: 5
  }
}

solver.prototxt

net: "models/vgg/train_val.prototxt"
test_iter: 10000
test_interval: 40000
test_initialization: false
display: 200
base_lr: 0.0001
lr_policy: "step"
stepsize: 320000
gamma: 0.96
max_iter: 10000000
momentum: 0.9
weight_decay: 0.0005
snapshot: 800000
snapshot_prefix: "models/vgg/vgg"
solver_mode: GPU

finetuning

模型太大，试了下，在GTX980的4G显存下，batchsize只能设置为8或者16这么小。。。
大模型还是得服务器并行，直接在原有的模型上finetuning

VGG_ILSVRC_16_layers_deploy.prototxt

#!/usr/bin/env sh
set -e

TOOLS=./build/tools

GLOG_logtostderr=0 GLOG_log_dir=models/vgg/Log/ \
$TOOLS/caffe train \
    --solver=models/vgg/solver.prototxt \
    --weights models/vgg/VGG_ILSVRC_16_layers.caffemodel
逍遥游07
关注
专栏目录
Python视觉深度学习系列教程 第三卷 第5章 在ImageNet上训练VGGNet
学以致用 知行合一
12-26 1849
在本章中，我们将从头开始学习如何在 ImageNet 数据集上训练 VGG16 网络架构。 该网络的特点是简单，仅使用3*3 卷积层堆叠在彼此之上，深度逐渐增加。 减少体积的空间维度是通过使用最大池化来实现的。 两个完全连接的层，每个层有 4,096 个节点（以及中间的 dropout），然后是一个 softmax 分类器。
matlab vgg19提取语义特征,利用vgg预训练模型提取图像特征及常见问题
weixin_36476970的博客
03-19 2171
VGG卷积神经网络是牛津大学在2014年提出来的模型。当这个模型被提出时，由于它的简洁性和实用性，马上成为了当时最流行的卷积神经网络模型。它在图像分类和目标检测任务中都表现出非常好的结果。在2014年的ILSVRC比赛中，VGG 在Top-5中取得了92.3%的正确率。有VGG16和VGG19，模型的权重由ImageNet训练而来1、VGG结构下面以VGG16为例来说明：看出VGG16由13个卷积...
卷积神经网络：VGG16 是基于大量真实图像的 ImageNet 图像库预训练的网络
weixin_39455125的博客
08-20 2882
卷积神经网络：VGG16 是基于大量真实图像的 ImageNet 图像库预训练的网络 图片输入->卷积->填充（Padding）->池化(pooling)->平坦（Flatten）->全连接层->丢弃（Dropout） 1.图片输入：彩色图像有RGB三个色值通道，分别表示红、绿、蓝； 每个通道内的像素可以用一个二维数组表示，数值代表0-255之间的像素值。 假设一张900600的彩色的图片，计算机里面可以用 (900600*3)的数组表示。总共1620000个数据，每个数
VGG16网络介绍及代码撰写详解（总结1）
最新发布
weixin_52531699的博客
09-29 1125
本文是介绍VGG16网络,个人对其的知识总结，网络设计的知识点，以及代码如何撰写，
【Tensorflow slim】slim learning包
zj360202的专栏
11-21 8649
TF-Slim在learning.py中的训练模型提供了一套简单但功能强大的工具。 这些功能包括一个训练函数可以反复测量损失，计算梯度并将模型保存到磁盘，以及用于操纵梯度的几个便利函数。 例如，一旦我们指定了模型，损失函数和优化方案，我们可以调用slim.learning.create_train_op和slim.learning.train来执行优化： g = tf.Graph() #
用预训练好的VGG16网络+ImageNet（用于图像分类的1000个类别标签）对图片类别做出预测
zy的博客
09-19 4957
用训练好的VGG16网络+ImageNet 对图片类别做出预测
VGG16-猫狗分类-imagenet预训练模型
MP-214的博客
10-27 5552
猫狗分类-VGG16-使用imagenet预训练网络 该练习使用VGG16网络架构和imagenet预训练网络。 在卷积基上添加一个密集连接分类器，利用冻结的卷积基端到端地训练模型。 为防止过拟合，网络中使用了L2正则化，0.5的dropout，训练集上使用了数据增强。 在训练时冻结VGG16卷积基。使模型泛化性更好，防止波动过大，破坏先前的模型。 import os import numpy a...
VGG_Imagenet_Weights_GrayScale_Images:转换VGG imagenet预先训练的权重以获得灰度图像
05-15
为灰度图像转换VGG imagenet的预训练权重。 2种方法： 将图像转换为灰度，将灰度通道复制2次以使图像成为3D图像。 将VGG16的第一个卷积层的权重转换为适应灰度图像。 例如：VGG16的block1_conv1内核的尺寸：（3...
Python tensorflow keras CNN VGG16 imagenet 预训练权重 人脸识别分类
01-13
卷积神经网络 Python tensorflow keras CNN VGG16 imagenet 预训练权重 人脸识别分类 训练集测试集评估准确率 maxpolling dropout jupyter notebook numpy pandas 数据分析 数据挖掘 深度学习 机器学习 人工智能
VGG_imagenet.part1.rar
01-19
用于faster-rcnn等网络训练的预训练模型文件VGG_imagenet.npy第一部分，下载全部3个文件后解压还原成VGG_imagenet.npy文件即可使用
VGG_imagenet.part3.rar
01-19
用于faster-rcnn等网络训练的预训练模型文件VGG_imagenet.npy第三部分，下载全部3个文件后解压还原成VGG_imagenet.npy文件即可使用
VGG_imagenet.npy
03-14
vgg16的Imagenet模型，由于google背墙，特分享一份以备份。
ImageNet 训练
m0_37400316的博客
12-21 755
ImageNet上训练ResNet-50： ImageNet上训练AlexNet： 我们亦观察到目前业界领先的各类方案的 batch szie 区间仍然比较有限，其中 AlexNet 为 1024，而 ResNet-50 为 8192。如果我们在 AlexNet 模型训练当中将 batch size 增加至 4096，则 100 epochs 情况下的准确度仅能达到 53.1%（如表 4 所示）。我们的目标是在使用更大 batch size 的情况下至少达到 58% 的准确度。 参考文章： https:/
1.2 VGG训练方法概要
skywuuu的博客
12-09 1589
3 CLASSIFICATION FRAMEWORK 这个部分讲的是ConvNet分类网络训练和测试的细节。 3.1 TRAINING ConvNet的训练程序基本和AlexNet差不多。也就是说，训练是通过使用具有**动量 (momentum)**的，基于反向传播的mini-batch梯度下降来优化多项logistic regression. batch size设置为256，momentum为0.9. 这个训练是通过weight decay（L2regularizationL^2 regularizat
详解VGG训练CIFAR10
comea23的博客
03-15 1957
刚刚调试代码的时候发现最后全连接层的输出是错的，改完之后训练轻松站上80+%。 而且发现训练样例的数目也搞错了…在循环设断点，发现前面数据读不出来，pycharm里改一下就好 把Gevent conpatiable勾上。 先看一下数据集 发现是（50000,32,32,3）的数据，共50000张，为32×32×3的图片。 训练样例有10000个。batchsize设为128. 再看一下VGG...
tensorflow vgg基于cifar-10进行训练
pangxing6491的博客
05-05 816
tensorflow vgg基于cifar-10进行训练：https://blog.csdn.net/GOGO_YAO/article/details/80348200
VGG16、VGG19网络架构及模型训练 tricks ：训练技巧、测试技巧
l love CV
04-23 2367
在Vgg文章的基础之上，总结一下论文中提出的训练技巧和测试技巧，以及相关实验结果的分析。
《Deep Learning for Computer Vision with Python》阅读笔记-ImageNetBundle(第7章)-在ImageNet上训练VGGNet
weixin_43749999的博客
02-28 882
//2022.2.27日下午18：33开始学习笔记 7.在ImageNet上训练VGGNet 在本章中，我们将学习如何在ImageNet数据集上从零开始训练VGG16网络架构。卷积神经网络的VGG家族最早是由Simonyan和Zisserman在他们2014年的论文《用于大规模图像识别的V极深卷积网络[17]》中提出的。 该网络的特点是简单，只使用3 × 3的卷积层叠加在一起，并不断增加深度。减少卷的空间维度是通过使用最大池来实现的。两个完全连接的层，每个层有4096个节点(中间有dropou
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值