[caffe]深度学习之图像分类模型AlexNet解读

最新推荐文章于 2024-05-01 23:23:31 发布
最新推荐文章于 2024-05-01 23:23:31 发布
阅读量291 收藏
点赞数
文章标签： caffe

原文地址：http://blog.csdn.net/sunbaigui/article/details/39938097，记录一下，推荐看原文中的评论


在imagenet上的图像分类challenge上Alex提出的alexnet网络结构模型赢得了2012届的冠军。要研究CNN类型DL网络模型在图像分类上的应用，就逃不开研究alexnet，这是CNN在图像分类上的经典模型（DL火起来之后）。

在DL开源实现caffe的model样例中，它也给出了alexnet的复现，具体网络配置文件如下https://github.com/BVLC/caffe/blob/master/models/bvlc_reference_caffenet/train_val.prototxt：

接下来本文将一步步对该网络配置结构中各个层进行详细的解读（训练阶段）：

1. conv1阶段DFD（data flow diagram）：


2. conv2阶段DFD（data flow diagram）：


3. conv3阶段DFD（data flow diagram）：


4. conv4阶段DFD（data flow diagram）：


5. conv5阶段DFD（data flow diagram）：


6. fc6阶段DFD（data flow diagram）：


7. fc7阶段DFD（data flow diagram）：


8. fc8阶段DFD（data flow diagram）：



各种layer的operation更多解释可以参考http://caffe.berkeleyvision.org/tutorial/layers.html

从计算该模型的数据流过程中，该模型参数大概5kw+。

caffe的输出中也有包含这块的内容日志，详情如下：

[cpp]  view plain  copy
 print ?
  1. I0721 10:38:15.326920  4692 net.cpp:125] Top shape: 256 3 227 227 (39574272)  
  2. I0721 10:38:15.326971  4692 net.cpp:125] Top shape: 256 1 1 1 (256)  
  3. I0721 10:38:15.326982  4692 net.cpp:156] data does not need backward computation.  
  4. I0721 10:38:15.327003  4692 net.cpp:74] Creating Layer conv1  
  5. I0721 10:38:15.327011  4692 net.cpp:84] conv1 <- data  
  6. I0721 10:38:15.327033  4692 net.cpp:110] conv1 -> conv1  
  7. I0721 10:38:16.721956  4692 net.cpp:125] Top shape: 256 96 55 55 (74342400)  
  8. I0721 10:38:16.722030  4692 net.cpp:151] conv1 needs backward computation.  
  9. I0721 10:38:16.722059  4692 net.cpp:74] Creating Layer relu1  
  10. I0721 10:38:16.722070  4692 net.cpp:84] relu1 <- conv1  
  11. I0721 10:38:16.722082  4692 net.cpp:98] relu1 -> conv1 (in-place)  
  12. I0721 10:38:16.722096  4692 net.cpp:125] Top shape: 256 96 55 55 (74342400)  
  13. I0721 10:38:16.722105  4692 net.cpp:151] relu1 needs backward computation.  
  14. I0721 10:38:16.722116  4692 net.cpp:74] Creating Layer pool1  
  15. I0721 10:38:16.722125  4692 net.cpp:84] pool1 <- conv1  
  16. I0721 10:38:16.722133  4692 net.cpp:110] pool1 -> pool1  
  17. I0721 10:38:16.722167  4692 net.cpp:125] Top shape: 256 96 27 27 (17915904)  
  18. I0721 10:38:16.722187  4692 net.cpp:151] pool1 needs backward computation.  
  19. I0721 10:38:16.722205  4692 net.cpp:74] Creating Layer norm1  
  20. I0721 10:38:16.722221  4692 net.cpp:84] norm1 <- pool1  
  21. I0721 10:38:16.722234  4692 net.cpp:110] norm1 -> norm1  
  22. I0721 10:38:16.722251  4692 net.cpp:125] Top shape: 256 96 27 27 (17915904)  
  23. I0721 10:38:16.722260  4692 net.cpp:151] norm1 needs backward computation.  
  24. I0721 10:38:16.722272  4692 net.cpp:74] Creating Layer conv2  
  25. I0721 10:38:16.722280  4692 net.cpp:84] conv2 <- norm1  
  26. I0721 10:38:16.722290  4692 net.cpp:110] conv2 -> conv2  
  27. I0721 10:38:16.725225  4692 net.cpp:125] Top shape: 256 256 27 27 (47775744)  
  28. I0721 10:38:16.725242  4692 net.cpp:151] conv2 needs backward computation.  
  29. I0721 10:38:16.725253  4692 net.cpp:74] Creating Layer relu2  
  30. I0721 10:38:16.725261  4692 net.cpp:84] relu2 <- conv2  
  31. I0721 10:38:16.725270  4692 net.cpp:98] relu2 -> conv2 (in-place)  
  32. I0721 10:38:16.725280  4692 net.cpp:125] Top shape: 256 256 27 27 (47775744)  
  33. I0721 10:38:16.725288  4692 net.cpp:151] relu2 needs backward computation.  
  34. I0721 10:38:16.725298  4692 net.cpp:74] Creating Layer pool2  
  35. I0721 10:38:16.725307  4692 net.cpp:84] pool2 <- conv2  
  36. I0721 10:38:16.725317  4692 net.cpp:110] pool2 -> pool2  
  37. I0721 10:38:16.725329  4692 net.cpp:125] Top shape: 256 256 13 13 (11075584)  
  38. I0721 10:38:16.725338  4692 net.cpp:151] pool2 needs backward computation.  
  39. I0721 10:38:16.725358  4692 net.cpp:74] Creating Layer norm2  
  40. I0721 10:38:16.725368  4692 net.cpp:84] norm2 <- pool2  
  41. I0721 10:38:16.725378  4692 net.cpp:110] norm2 -> norm2  
  42. I0721 10:38:16.725389  4692 net.cpp:125] Top shape: 256 256 13 13 (11075584)  
  43. I0721 10:38:16.725399  4692 net.cpp:151] norm2 needs backward computation.  
  44. I0721 10:38:16.725409  4692 net.cpp:74] Creating Layer conv3  
  45. I0721 10:38:16.725419  4692 net.cpp:84] conv3 <- norm2  
  46. I0721 10:38:16.725427  4692 net.cpp:110] conv3 -> conv3  
  47. I0721 10:38:16.735193  4692 net.cpp:125] Top shape: 256 384 13 13 (16613376)  
  48. I0721 10:38:16.735213  4692 net.cpp:151] conv3 needs backward computation.  
  49. I0721 10:38:16.735224  4692 net.cpp:74] Creating Layer relu3  
  50. I0721 10:38:16.735234  4692 net.cpp:84] relu3 <- conv3  
  51. I0721 10:38:16.735242  4692 net.cpp:98] relu3 -> conv3 (in-place)  
  52. I0721 10:38:16.735250  4692 net.cpp:125] Top shape: 256 384 13 13 (16613376)  
  53. I0721 10:38:16.735258  4692 net.cpp:151] relu3 needs backward computation.  
  54. I0721 10:38:16.735302  4692 net.cpp:74] Creating Layer conv4  
  55. I0721 10:38:16.735312  4692 net.cpp:84] conv4 <- conv3  
  56. I0721 10:38:16.735321  4692 net.cpp:110] conv4 -> conv4  
  57. I0721 10:38:16.743952  4692 net.cpp:125] Top shape: 256 384 13 13 (16613376)  
  58. I0721 10:38:16.743988  4692 net.cpp:151] conv4 needs backward computation.  
  59. I0721 10:38:16.744000  4692 net.cpp:74] Creating Layer relu4  
  60. I0721 10:38:16.744010  4692 net.cpp:84] relu4 <- conv4  
  61. I0721 10:38:16.744020  4692 net.cpp:98] relu4 -> conv4 (in-place)  
  62. I0721 10:38:16.744030  4692 net.cpp:125] Top shape: 256 384 13 13 (16613376)  
  63. I0721 10:38:16.744038  4692 net.cpp:151] relu4 needs backward computation.  
  64. I0721 10:38:16.744050  4692 net.cpp:74] Creating Layer conv5  
  65. I0721 10:38:16.744057  4692 net.cpp:84] conv5 <- conv4  
  66. I0721 10:38:16.744067  4692 net.cpp:110] conv5 -> conv5  
  67. I0721 10:38:16.748935  4692 net.cpp:125] Top shape: 256 256 13 13 (11075584)  
  68. I0721 10:38:16.748955  4692 net.cpp:151] conv5 needs backward computation.  
  69. I0721 10:38:16.748965  4692 net.cpp:74] Creating Layer relu5  
  70. I0721 10:38:16.748975  4692 net.cpp:84] relu5 <- conv5  
  71. I0721 10:38:16.748983  4692 net.cpp:98] relu5 -> conv5 (in-place)  
  72. I0721 10:38:16.748998  4692 net.cpp:125] Top shape: 256 256 13 13 (11075584)  
  73. I0721 10:38:16.749011  4692 net.cpp:151] relu5 needs backward computation.  
  74. I0721 10:38:16.749022  4692 net.cpp:74] Creating Layer pool5  
  75. I0721 10:38:16.749030  4692 net.cpp:84] pool5 <- conv5  
  76. I0721 10:38:16.749039  4692 net.cpp:110] pool5 -> pool5  
  77. I0721 10:38:16.749050  4692 net.cpp:125] Top shape: 256 256 6 6 (2359296)  
  78. I0721 10:38:16.749058  4692 net.cpp:151] pool5 needs backward computation.  
  79. I0721 10:38:16.749074  4692 net.cpp:74] Creating Layer fc6  
  80. I0721 10:38:16.749083  4692 net.cpp:84] fc6 <- pool5  
  81. I0721 10:38:16.749091  4692 net.cpp:110] fc6 -> fc6  
  82. I0721 10:38:17.160079  4692 net.cpp:125] Top shape: 256 4096 1 1 (1048576)  
  83. I0721 10:38:17.160148  4692 net.cpp:151] fc6 needs backward computation.  
  84. I0721 10:38:17.160166  4692 net.cpp:74] Creating Layer relu6  
  85. I0721 10:38:17.160177  4692 net.cpp:84] relu6 <- fc6  
  86. I0721 10:38:17.160190  4692 net.cpp:98] relu6 -> fc6 (in-place)  
  87. I0721 10:38:17.160202  4692 net.cpp:125] Top shape: 256 4096 1 1 (1048576)  
  88. I0721 10:38:17.160212  4692 net.cpp:151] relu6 needs backward computation.  
  89. I0721 10:38:17.160222  4692 net.cpp:74] Creating Layer drop6  
  90. I0721 10:38:17.160230  4692 net.cpp:84] drop6 <- fc6  
  91. I0721 10:38:17.160238  4692 net.cpp:98] drop6 -> fc6 (in-place)  
  92. I0721 10:38:17.160258  4692 net.cpp:125] Top shape: 256 4096 1 1 (1048576)  
  93. I0721 10:38:17.160265  4692 net.cpp:151] drop6 needs backward computation.  
  94. I0721 10:38:17.160277  4692 net.cpp:74] Creating Layer fc7  
  95. I0721 10:38:17.160286  4692 net.cpp:84] fc7 <- fc6  
  96. I0721 10:38:17.160295  4692 net.cpp:110] fc7 -> fc7  
  97. I0721 10:38:17.342094  4692 net.cpp:125] Top shape: 256 4096 1 1 (1048576)  
  98. I0721 10:38:17.342157  4692 net.cpp:151] fc7 needs backward computation.  
  99. I0721 10:38:17.342175  4692 net.cpp:74] Creating Layer relu7  
  100. I0721 10:38:17.342185  4692 net.cpp:84] relu7 <- fc7  
  101. I0721 10:38:17.342198  4692 net.cpp:98] relu7 -> fc7 (in-place)  
  102. I0721 10:38:17.342208  4692 net.cpp:125] Top shape: 256 4096 1 1 (1048576)  
  103. I0721 10:38:17.342217  4692 net.cpp:151] relu7 needs backward computation.  
  104. I0721 10:38:17.342228  4692 net.cpp:74] Creating Layer drop7  
  105. I0721 10:38:17.342236  4692 net.cpp:84] drop7 <- fc7  
  106. I0721 10:38:17.342245  4692 net.cpp:98] drop7 -> fc7 (in-place)  
  107. I0721 10:38:17.342254  4692 net.cpp:125] Top shape: 256 4096 1 1 (1048576)  
  108. I0721 10:38:17.342262  4692 net.cpp:151] drop7 needs backward computation.  
  109. I0721 10:38:17.342274  4692 net.cpp:74] Creating Layer fc8  
  110. I0721 10:38:17.342283  4692 net.cpp:84] fc8 <- fc7  
  111. I0721 10:38:17.342291  4692 net.cpp:110] fc8 -> fc8  
  112. I0721 10:38:17.343199  4692 net.cpp:125] Top shape: 256 22 1 1 (5632)  
  113. I0721 10:38:17.343214  4692 net.cpp:151] fc8 needs backward computation.  
  114. I0721 10:38:17.343231  4692 net.cpp:74] Creating Layer loss  
  115. I0721 10:38:17.343240  4692 net.cpp:84] loss <- fc8  
  116. I0721 10:38:17.343250  4692 net.cpp:84] loss <- label  
  117. I0721 10:38:17.343264  4692 net.cpp:151] loss needs backward computation.  
  118. I0721 10:38:17.343305  4692 net.cpp:173] Collecting Learning Rate and Weight Decay.  
  119. I0721 10:38:17.343327  4692 net.cpp:166] Network initialization done.  
  120. I0721 10:38:17.343335  4692 net.cpp:167] Memory required for Data 1073760256

学习_forever_go
关注
深度学习在医学图像分类中的应用
AI天才研究院
10-27 786
深度学习在医学图像分类中的应用 关键词： 深度学习，医学图像分类，卷积神经网络，循环神经网络，注意力机制，跨模态学习 摘要： 本文将深入探讨深度学习在医学图像分类中的应用。
深度学习系列资料总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-17 2万+
说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
基于tensorflow的猫狗图片的识别分类_深度学习CNN网络alexnet模型
04-14
猫狗图片的识别分类，通过一个Alexnet网络模型，对猫狗图片数据集进行训练，并保存模型
2024年最全【图像分类】 一文读懂AlexNet
最新发布
2401_84692538的博客
05-01 1077
重叠最大池化（overlapping max pooling），即池化范围z与步长s存在关系z>s（如。pytorch的官方并没有严格按照AlexNet论文的实现，第一个卷积是64个卷积核，官方是96个。使用随机丢弃技术（dropout）选择性地忽略训练中的单个神经元，避免模型的过拟合。中核尺度为3×3/2），避免平均池化（average pooling）的平均效应。4、Pytorch官方实现。
深度学习之图像分类模型inception v2、inception v3解读
热门推荐
孙佰贵的专栏
03-05 7万+
inception v2与inception v3两种模型配置。 Inception v3单模型达到了21.2%的top1错误率，多模型达到了17.3%的top1错误率
基于深度学习的13种通用图像分类模型及其实现
weixin_44085245的博客
12-13 2万+
基于深度学习的通用13种图像分类名对图像作分类 #基于深度学习的通用13种图像分类名对图像作分类 所用到的分类模型为： VGG16,VGG19,InceptionV3,Xception,MobileNet,AlexNet,LeNet,ZF_Net, ResNet18,ResNet34,ResNet50,ResNet_101,ResNet_152 ##项目开源地址和特点 开源地址图像分类 基...
Caffe学习笔记（二）——AlexNet模型
hong__fang的专栏
07-31 1万+
深度学习笔记 1 LeNet-5 2 1.1 局限性 2 1.2 理解 2 2 AlexNet  2.1 结构介绍 4 2.1.1 ReLU非线性 4 2.1.2 在多个GPU上训练 4 2.1.3 局部响应归一化 4 2.1.4 重叠Pooling 5 2.1.5 减少过拟合 6 2.2 总体结构 8 2.2.1 总体介绍 8 2.2.2 各层运算、维度和参数 9 2
【深度学习】卷积神经网络发展史从LeNet到AlexNet
Nieson2012的专栏
11-11 2694
本文主要讨论CNN的发展，并且引用刘昕博士的思路，对CNN的发展作一个更加详细的介绍，将按下图的CNN发展史进行描述： 上图所示是刘昕博士总结的CNN结构演化的历史，起点是神经认知机模型，此时已经出现了卷积结构，经典的LeNet诞生于1998年。然而之后CNN的锋芒开始被SVM等手工设计的特征盖过。随着ReLU和dropout的提出，以及GPU和大数据带来的历史机遇，CNN在2012年迎来了...
机器学习笔记 - 基于深度学习(HomographyNet)的图像单应性估计
学以致用 知行合一
07-22 2426
论文提出了一个深度卷积神经网络来估计一对图像之间的相对单应性。我们的前馈网络有10层，以两个堆叠的灰度图像作为输入，并产生一个8自由度的单应性，可用于映射从第一个图像到第二个图像的像素。我们为HomographyNet提出了两种卷积神经网络架构一个直接估计实值单应性参数的回归网络，以及一个在量化单应性上产生分布的分类网络。我们使用4点单应性参数化，将一个图像的四个角映射到第二个图像。我们的网络使用扭曲的MS-COCO图像以端到端的方式进行训练。论文的贡献如下。........................
【深度学习】一文入门图像预训练模型
fengdu78的博客
05-02 2484
作者：Dr. Dataman译者：刘媛媛过去三十年来，研究学者在图像识别算法和图像数据集方面做了许多工作，积累了宝贵的知识经验。如果你对图像训练感兴趣，但又不知道从何开始。那么，我希望这篇文章可以为你提供一个很好的开始。这篇文章简要介绍了过往的演变，并指出了当代热点话题。阅读本文后，你将熟悉以下主题：丨ImageNet丨预训练模型丨迁移学习（热门主题）丨使用预训练模型去识...
深度学习之迁移学习（打造自己的图像识别模型）
xuanweichangran的博客
01-21 4814
  一、概论        迁移学习（打造自己的图像识别模型）其实就是利用已有的深度神经网络（VGG16，AlexNet , GoogLeNet等）进行简单的微调。一般有如下几种方式： 只训练全连接层。 全部网络重新训练（使用已有参数/从头开始） 只训练部分网络。 二、数据准备     原始的图片数据和标签需要转换成tfrecord格式的文件,tfrecord, 这是一种将图像数据和标...
【论文阅读笔记】图像语义分割深度学习模型综述（张新明等）
box0115的博客
01-29 564
【论文阅读笔记】图像语义分割深度学习模型综述（张新明等） 文章主要内容：全面综述了图像语义分割算法的常用分类及最新成果，详尽比较了图像语义分割深度学习模型在PASCAL VOC 2012数据集上的四个参数的实际表现性能，对此领域的未来进行展望并提出了相关问题。 文章部分摘要 0 引言 图像语义分割是像素级别的密集分类问题，其目标是对图像中的每个像素进行语义信息标注。语义分割广泛应用于自动驾驶、肝癌检测等方面。 语义分割的难点主要来自以下三个方面：物体层次、类别层次和背景层次。**这意味着语义分割任务要在复杂
AlexNet网络详解
鲤鱼与驴的博客
02-01 1万+
本文介绍了AlexNet网络的详细结构，模型特点创新，最后利用Pytorch框架搭建了该模型
AlexNet模型详细分析
qq_43811879的博客
11-12 6663
Alex在2012年提出的alexnet网络结构模型引爆了神经网络的应用热潮，并赢得了2012届图像识别大赛的冠军，使得CNN成为在图像分类上的核心算法模型。 上面这种图就是AlexNet的网络结构 改网络的亮点在于： （1）首次使用了GPU进行网络加速训练。 （2）使用了ReLU激活函数，而不是传统的Sigmoid激活函数以及Tanh激活函数。 （3）使用了LRN局部响应归一化。 （4）在全连接层的前两层中使用了Droupout随机失活神经元操作，以减少过拟合。 对于AlexNet有5层卷积层，三个全连
经典网络模型AlexNet
scl52tg的博客
11-03 487
模型分析前言：卷积计算公式模型图示（原论文）模型源码模型分析第一大层（卷积、激活、池化）第二大层（卷积、激活、池化）第三大层（卷积、激活）第四大层（卷积、激活）第五大层（卷积、激活）自适应平均池化拉直层第六大层（舍弃层、激活层、全连接层）第七大层（舍弃层、激活层、全连接层）第八大层（全连接层） 前言：卷积计算公式 在开始之前我先讲一下卷积层的计算公式； H1，W1: 输入图片的高和宽 F: 卷积核的尺寸 P: 填充的数量 K: 卷积核的个数 H2，W2，D2: 输出后求出来的高、宽、通道数 对于P图像的填
AlexNet网络模型
lovecode2008的博客
02-16 777
2012年，Hinton的学生Alex Krizhevsky在《深度卷积神经网络的ImageNet分类》一文中提出了深度卷积神经网络模型AlexNet，是LeNet的一种更深更宽的版本。这是第一次将深度卷积神经网络 (CNN)、GPU 和巨大的互联网来源数据集（ImageNet）结合在一起。AlexNet首次在CNN中成功应用了ReLU、Dropout和LRN等Trick。AlexNet包含了6亿3000万个连接，6000万个参数和65万个神经元，拥有5个卷积层，其中3个卷积层后面连接了最大池化层，最后还有
Axure RP 9最新版软件及汉化包下载
qq_35202206的博客
02-28 2万+
官方安装包下载地址（速度较慢） 下载Axure RP 9 Beta MAC版：https://axure.cachefly.net/AxureRP-Setup-Beta.dmg 下载Axure RP 9 Beta PC版：https://axure.cachefly.net/AxureRP-Setup-Beta.exe Axure中文汉化包下载地址 下载汉化包：20190114162...
小程序-Nginx代理请求豆瓣API ( 解决403问题 )
Moon Star
05-28 1219
访问API： 在微信小程序中，是无法访问的，可以使用https://douban.uieee.com来代替https://api.douban.com Nginx安装： 安装Nginx：http://nginx.org/en/download.html 解压文件： 启动Nginx：打开cmd命令窗口，输入命令start nginx；不要双击运行，不好使 检查是否成功：打开浏览器 ，输...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值