Aure219的博客

使用 DataLoader 将 ImageFloder 加载的数据集处理成批量（batch）加载模式。果然发现data下面多了train_vaild_test文件夹，里面分了三个文件夹。使用ImageFlolder加载数据集中的图像，并使用指定的预处理操作来处理图像。我把data文件夹里面的所有的文件夹删了，然后把图像放在data文件夹下。发现在train_vaild_test文件夹中多了test文件夹。所以我新建了一个train文件夹，把图像放进去。然后新建了一个test文件夹，运行成功。

之前学了挺多卷积神经网络模型，但是都只停留在概念。代码都没自己敲过，肯定不行，而且这代码也很难很多都看不懂。所以想着先从最先较简单的AlexNet开始敲。不过还是好多没搞明白，之后逐一搞清楚。

我们提出了一类有效的模型，称为MobileNets，用于移动和嵌入式视觉应用。MobileNets 基于流线型架构，该架构使用深度可分离卷积来构建轻量级深度神经网络。我们引入了两个简单的全局超参数，可以有效地权衡延迟和准确性。这些超参数允许模型构建器根据问题的约束为其应用程序选择正确的大小模型。我们对资源和准确性权衡进行了广泛的实验，并在 ImageNet 分类上展示了与其他流行模型相比的强大性能。

SENet，胡杰（Momenta）在2017.9提出，通过显式地建模卷积特征通道之间的相互依赖性来提高网络的表示能力，即，通道维度上的注意力机制。SE块以微小的计算成本为现有的最先进的深层架构产生了显著的性能改进，SENet block和ResNeXt结合在ILSVRC 2017赢得第一名。SENet模型是一种通过自适应地重新加权输入特征图的通道来增强模型表达能力的卷积神经网络结构。由胡杰等人在2018年提出。SENet的核心思想是通过一个“

作为CVPR2017年的Best Paper， DenseNet脱离了通过加深网络层数(VGG，ResNet)和加宽网络结构(GoogLeNet)来提升网络性能的定式思维， 从特征的角度考虑, 通过特征重用和旁路(Bypass)设置，既大幅度减少了网络的参数量，又在一定程度上缓解了梯度弥散问题的产生. 结合信息流和特征复用的假设， DenseNet当之无愧成为2017年计算机视觉顶会的年度最佳论文。另外，本文还对FractalNet进行了介绍，FractalNet与DenseNet的设计思想有异曲同工之妙。

更深层次的神经网络更难训练。我们提出了一个残差学习框架，以简化比以前使用的网络更深的网络训练。我们明确地将层重新表示为参考层输入的学习残差函数，而不是学习未引用的函数。我们提供了全面的经验证据，表明这些残差网络更容易优化，并且可以通过显着增加的深度来获得准确性。在 ImageNet 数据集上，我们评估深度高达 152 层的残差网络，比 VGG 网络 [41] 深 8 倍，但复杂度仍然较低。这些残差网络的集合在 ImageNet 测试集上实现了 3.57% 的误差。

上次的GoogLeNet里的V2版本的伟大贡献是提出了Batch Normalization(BN)，于是就准备了解一下BN，顺便学一下其他不同的归一化方式。

作为GoogLeNet系列文章的终章，GoogLeNetV5 模型以实验结果为导向，放弃了GoogLeNetV1-V4中将1×1、3×3、5×5卷积核并列的结构。与GoogLeNetV4中复杂的模型结构相比，Xception这种简单的模型结构反而取得了更好的性能。

我们提出了一个代号为 Inception 的深度卷积神经网络架构，它在 2014 年 ImageNet 大规模视觉识别挑战赛 (ILSVRC14) 中实现了分类和检测的最新技术水平。这种架构的主要特点是提高了网络内部计算资源的利用率。通过精心设计，我们增加了网络的深度和宽度，同时保持计算预算不变。为了优化质量，架构决策基于 Hebb 原理和多尺度处理的直觉。我们提交给 ILSVRC14 的一个特定化身称为 GoogLeNet，一个 22 层的深度网络，其质量在分类和检测的背景下进行评估。

例如Layer5中，最右上角的示例：feature map中表征的是一种绿色成片的特征，可是能激活这些特征的原图相关性却很低（因为原图是人，马，海边，公园等，语义上并不相干）；其实这种绿色成片的特征是‘草地’，而这些语义不相干的图片里都有‘草地’。‘草地’是网络深层卷积核提取的是高级语义信息，不再是低级的像素信息，空间信息等等。例如，在第 5 层，第 1 行，第 2 列，这些补丁似乎没有什么共同之处，但可视化显示这个特定的特征图关注背景中的草地，而不是前景对象。

我们训练了一个大型深度卷积神经网络，将ImageNet LSVRC-2010比赛中的120万幅高分辨率图像分类为1000个不同的类别。在测试数据上，我们分别获得了37.5%和17.0%的前1和前5错误率，这比以前的最先进技术要好得多。该神经网络有6000万个参数和65万个神经元，由五个卷积层组成，其中一些层后面是最大池化层，还有三个完全连接层，最后是1000路softmax。为了使训练更快，我们使用了非饱和神经元和非常高效的GPU实现的卷积运算。为了减少完全连接层中。

(stride)，动图中的stride=2。这里需要注意的一点是：卷积核从图像的初始位置（左上角）滑动到最后位置（右下角）这个过程中，