m0_47867638的博客

这篇文章，是对专栏的总目录，方便大家查看文章。这个专栏我计划整理一些经典常用的主干网络模型，对其进行讲解和实战。由浅入深，逐步增加深度，让大家更容易接受。PDF版的文章和实战代码以及数据集，我会放到网盘上，大家在文章的末尾可以看到。

调用自定义初始化函数init.trunc_normal_(m.weight, std=.02) # 假设trunc_normal_已经可用return x# 使用模型注意上面的函数只是模拟的，因为PyTorch在较新版本中（如1.7及以上）提供了。如果你的PyTorch版本支持，可以直接使用它。在函数中，我们通过在模型初始化时自动调用它。apply方法会递归地遍历模型中的所有模块，并对每个模块调用函数。需要注意的是，

​ Squeeze-and-Excitation Networks（简称 SENet）是 Momenta 胡杰团队（WMW）提出的新的网络结构，利用SENet，一举取得最后一届 ImageNet 2017 竞赛 Image Classification 任务的冠军，在ImageNet数据集上将top-5 error降低到2.251%，原先的最好成绩是2.991%。作者在文中将SENet block插入到现有的多种分类网络中，都取得了不错的效果。

卷积神经网络(cnn)的核心构建块是卷积算子，它使网络能够通过在每层的局部接受域中融合空间和通道信息来构建信息特征。之前的广泛研究已经调查了这种关系的空间成分，试图通过提高整个特征层次的空间编码质量来加强CNN的表征能力。在这项工作中，我们将重点放在通道关系上，并提出了一种新的架构单元，我们称之为“挤压和激励”(SE)块，该单元通过明确建模通道之间的相互依赖性，自适应地重新校准通道特征响应。我们表明，这些块可以堆叠在一起，形成SENet架构，在不同的数据集上非常有效地泛化。

到这里，这篇文章就写完了，通过这篇文章，你能学到：1、如何训练模型？2、如何推理？3、如何读取数据集、处理数据集？4、如何保存权重文件和整个模型文件？5、如何使用评价指标，如ACC、ReCall等指标评价模型。6、如何使用matplotlib.pyplot绘制acc和loss曲线图？7、如何使用余弦退火学习率调整策略调整学习率？8、如何使用Mixup,CutMix，CutOut等数据增强？9、如何使用Pytorch自带的增强方法10、如何使用argparse模块。

本文主要讲解如何使用argparse模块。

在深度学习网络中，随着网络深度的加深，梯度消失问题会愈加明显，目前很多论文都针对这个问题提出了解决方案，比如ResNet，Highway Networks，Stochastic depth，FractalNets等，尽管这些算法的网络结构有差别，但是核心都在于使用shotcut将浅层和深层链接起来。那么DenseNet是怎么做呢？延续这个思路，那就是在保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来！整体架构如下图：参数结构如下表：减轻了梯度消失。

最近的工作表明，如果卷积网络在靠近输入的层和靠近输出的层之间包含更短的连接，则它们可以更深入、更准确、更有效地进行训练。在本文中，我们接受了这一观察并介绍了密集卷积网络 (DenseNet)，它以前馈方式将每一层连接到其他每一层。而具有 L 层的传统卷积网络有 L 个连接——每层与其后续层之间有一个连接——而我们的网络有LL122LL1​个直接连接。对于每一层，所有先前层的特征图用作输入，其自身的特征图用作所有后续层的输入。

到这里，这篇文章就写完了，通过这篇文章，你能学到：1、如何训练模型？2、如何推理？3、如何读取数据集、处理数据集？4、如何保存权重文件和整个模型文件？5、如何使用评价指标，如ACC、ReCall等指标评价模型。6、如何使用matplotlib.pyplot绘制acc和loss曲线图？7、如何使用余弦退火学习率调整策略调整学习率？8、如何使用Mixup,CutMix，CutOut等数据增强？9、如何使用Pytorch自带的增强方法。

这篇文章是对数据增强的总结。通过对数据增强可以使训练集更丰富，从而让模型更具泛化能力，减轻模型的过拟合。比较常用的几何变换方法主要有：翻转，旋转，裁剪，缩放，平移，抖动。值得注意的是，在某些具体的任务中，当使用这些方法时需要主要标签数据的变化，如目标检测中若使用翻转，则需要将gt框进行相应的调整。比较常用的像素变换方法有：加椒盐噪声，高斯噪声，进行高斯模糊，调整HSV对比度，调节亮度，饱和度，直方图均衡化，调整白平衡等。还有一些特殊的增强手段，如Cutout，Mixup，CutMix等方法。

ResNet（Residual Neural Network）由微软研究院的Kaiming He等四名华人提出，通过使用ResNet Unit成功训练出了152层的神经网络，并在ILSVRC2015比赛中取得冠军，在top5上的错误率为3.57%，同时参数量比VGGNet低，效果非常明显。模型的创新点在于提出残差学习的思想，在网络中增加了直连通道，将原始输入信息直接传到后面的层中，如下图所示：​​。

更深的神经网络更难训练。我们提出了一个残差学习框架，以简化比以前使用的网络更深的网络的训练。我们明确地将层重新表述为参考层输入学习残差函数，而不是学习未引用的函数。我们提供了全面的经验证据，表明这些残差网络更容易优化，并且可以从显着增加的深度中获得准确性。在 ImageNet 数据集上，我们评估深度高达 152 层的残差网络——比 VGG 网络 [41] 深 8 倍，但仍然具有较低的复杂性。这些残差网络的集合在 ImageNet 测试集上实现了 3.57% 的错误率。

到这里，这篇文章就写完了，通过这篇文章，你能学到：1、如何训练模型？2、如何推理？3、如何读取数据集、处理数据集？4、如何保存权重文件和整个模型文件？5、如何使用评价指标，如ACC、ReCall等指标评价模型。6、如何使用matplotlib.pyplot绘制acc和loss曲线图？7、如何使用余弦退火学习率调整策略调整学习率？有没有发现，我们的实战代码正在逐渐的丰富起来。我打算通过这种逐步增加难度的方式，让大家更容易接受！这篇文章，我们增加了学习率调整策略。

PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。PyTorch提供的学习率调整策略分为三大类，分别是有序调整：等间隔调整(Step)，按需调整学习率(MultiStep)，指数衰减调整(Exponential)和 余弦退火CosineAnnealing。自适应调整：自适应调整学习率 ReduceLROnPlateau。自定义调整：自定义调整学习率 LambdaLR。为不同参数组设定不同学习率调整策略。

在前面的文章，我详解了GoogLeNet的网络结构，想必大家对GoogLeNet的Inception结构非常的了解了，GoogLeNet共有四个版本，我们在前面学习到的GoogLeNet也就是Inception V1。接下来，这篇文章将详解V2、V3、V4的网络结构。

摘要摘要1 简介2 相关工作3 体系架构的选择3.1 纯Inception块3.2 剩余起始块3.3 残差的缩放4 训练方法5 实验结果6 结论摘要。

卷积网络是最先进的计算机视觉解决方案的核心，适用于各种各样的任务。自2014年以来，非常深度的卷积网络开始成为主流，在各种基准测试中产生了巨大的收益。尽管增加的模型大小和计算成本倾向于转化为大多数任务的即时质量提高(只要为训练提供足够的标记数据)，计算效率和低参数计数仍然是各种用例(如移动视觉和大数据场景)的启用因素。在这里，我们正在探索扩大网络的方法，目的是通过适当的因式卷积和积极的正则化尽可能有效地利用增加的计算。

由于每层输入的分布在训练过程中随着前一层的参数发生变化而发生变化，因此训练深度神经网络很复杂。由于需要较低的学习率和仔细的参数初始化，这会减慢训练速度，并且使得训练具有饱和非线性的模型变得非常困难。我们将这种现象称为内部协变量偏移，并通过归一化层输入来解决该问题。我们的方法的优势在于将标准化作为模型架构的一部分，并为每个训练小批量执行标准化。Batch Normalization 允许我们使用更高的学习率，并且在初始化时不那么小心。它还充当正则化器，在某些情况下消除了 Dropout 的需要。

到这里，这篇文章就写完了，通过这篇文章，你能学到：1、如何训练模型？2、如何推理？3、如何读取数据集、处理数据集？4、如何使用余弦退火调整学习率？5、如何保存权重文件和整个模型文件？6、如何使用评价指标，如ACC、ReCall等指标评价模型。7、如何使用matplotlib.pyplot绘制acc和loss曲线图？有没有发现，我们的实战代码正在逐渐的丰富起来。我打算通过这种逐步增加难度的方式，让大家更容易接受！2 划分训练集和测试集🐇4.9 训练函数。

Matplotlib 是一个用于在 Python 中绘制数组的 2D 图形库。虽然它起源于模仿 MATLAB 图形命令，但它独立于 MATLAB，可以以 Pythonic 和面向对象的方式使用。虽然 Matplotlib 主要是在纯 Python 中编写的，但它大量使用 NumPy 和其他扩展代码，即使对于大型数组也能提供良好的性能。matplotlib.pyplot是一个命令风格函数的集合，使matplotlib的机制更像MATLAB。

GoogLeNet作为2014年ILSVRC在分类任务上的冠军，以6.65%的错误率力压VGGNet等模型，在分类的准确率上面相比过去两届冠军ZFNet和AlexNet都有很大的提升。从名字GoogLeNet可以知道这是来自谷歌工程师所设计的网络结构，而名字中GoogLeNet更是致敬了LeNet。GoogLeNet中最核心的部分是其内部子网络结构Inception，该结构灵感来源于NIN，至今已经经历了四次版本迭代（Inception_v1-4）。下表是Inception_v1-4提出的时间表。

摘要。

摘要。

一般情况来说，单一评分标准无法完全评估一个机器学习模型。只用good和bad偏离真实场景去评估某个模型，都是一种欠妥的评估方式。单标签分类的评价指标有：混淆矩阵，准确率(Accuracy),精确率（Precision）,召回率（Recall）,F1-score,ROC曲线和AUC。

🐇模型介绍。

摘要。

摘要。

以前写文章用数据集是从一个公开的数据集里面抽取了部分数据做成的数据集，有人反映说不知道test的真值，那怎么办呢？那我们就一起制作一个吧！这篇文章会详细描述图像分类数据集的制作过程。欢迎大家一起学习！如果有不对的地方，还请大家指出！

摘要。

摘要。