冲出仁川，走出马德里，故事还会再继续

ResNet-270 及更高版本主要扩展 c3 和 c4 中的块数，我们尝试保持它们的比例大致恒定。我们凭经验发现，在较低阶段添加块会限制过度拟合，因为较低层中的块具有显着较少的参数，即使所有块具有相同数量的 FLOP。图 6 显示了我们的 ResNet-RS 模型中使用的 ResNet-D 架构更改。ResNet-RS 架构是 Squeeze-and-Excitation 和 ResNet-D 的简单组合。这里只是介绍网络的搭建方法，训练的时候我们直接使用迁移学习去做，用这个从头训练太慢了。

有的API只有高版本的tensorflow有，所以这里再装个tensorflow2.9，我看了下，官网最新版本是2.10anaconda这个环境隔离机制有点类似于docker，用起来太爽了。每次换环境都要查下别人文章，太麻烦了，自己装个，方便后续查看。

DenseNet:Densely Connected Convolutional Networks–CVPR2017最佳论文奖在本文中，我们提出了一种架构，将这种见解提炼成一个简单的连接模式：为了确保网络中各层之间的最大信息流，我们将所有层（具有匹配的特征图大小）直接相互连接。为了保持前馈特性，每一层都从所有前面的层获得额外的输入，并将其自己的特征图传递给所有后续层。图 1 示意性地说明了这种布局。至关重要的是，与 ResNets 相比，我们在将特征传递到层之前从不通过求和来组合特征。相反，我们。

我们的工作重新审视了规范的 ResNet (He et al., 2015)，并研究了这三个方面，以试图解开它们。也许令人惊讶的是，我们发现训练和扩展策略可能比架构变化更重要，而且由此产生的 ResNet 与最近最先进的模型相匹配。我们展示了表现最佳的缩放策略取决于训练方案，并提供了两种新的缩放策略：（1）在可能发生过度拟合的情况下缩放模型深度（否则宽度缩放更可取）；(2) 提高图像分辨率的速度比之前推荐的要慢（Tan & Le，2019）。使用改进的训练和扩展策略，我们设计了一系列 ResNet 架构。

ConvNet和Vision Transformer的ImageNet分类结果。我们证明了标准的 ConvNet 模型可以实现与分层视觉 Transformer 相同的可扩展性，同时在设计上要简单得多。视觉识别的“咆哮的 20 年代”始于 Vision Transformers (ViTs) 的引入，它迅速取代了 ConvNets，成为最先进的图像分类模型。另一方面，普通的 ViT 在应用于目标检测和语义分割等一般计算机视觉任务时面临困难。

由于内存和计算资源有限，在嵌入式设备上部署卷积神经网络 (CNN) 很困难。特征图中的冗余是那些成功的 CNN 的一个重要特征，但在神经架构设计中很少被研究。本文提出了一种新颖的 Ghost 模块，可以从廉价的操作中生成更多的特征图。基于一组内在特征图，我们应用一系列成本低廉的线性变换来生成许多ghost特征图，这些特征图可以充分揭示内在特征的信息。所提出的 Ghost 模块可以作为一个即插即用的组件来升级现有的卷积神经网络。

在这项工作中，我们提出了一种新的网络设计范式。我们的目标是帮助促进对网络设计的理解，并发现跨环境通用的设计原则。我们不是专注于设计单个网络实例，而是设计参数化网络群体的网络设计空间。整个过程类似于经典的网络手动设计，但提升到了设计空间级别。使用我们的方法，我们探索了网络设计的结构方面，并得出了一个由简单、规则的网络组成的低维设计空间，我们称之为RegNet。好的网络的宽度和深度可以用一个量化的线性函数来解释。我们分析了 RegNet 设计空间并得出了与当前网络设计实践不匹配的有趣发现。

图 1. ImageNet ILSVRC2012 top-1 准确度与训练时间和参数的关系——标记为 21k 的模型在 ImageNet21k 上进行了预训练，而其他模型则直接在 ImageNet ILSVRC2012 上进行了训练。训练时间是用 32 个 TPU 核心测量的。所有 EfficientNetV2 模型都经过渐进式学习的训练。我们的 EfficientNetV2 的训练速度比其他方法快 5 到 11 倍，同时使用的参数最多可减少 6.8 倍。

 我们提出的复合缩放方法，它以固定比例均匀缩放所有三个维度。  缩放网络深度是许多 ConvNet 最常用的方式.直觉是，更深的 ConvNet 可以捕获更丰富、更复杂的特征，并且可以很好地概括新任务。然而，由于梯度消失问题，更深层次的网络也更难训练。尽管skip connections和batch normailzation等多种技术缓解了训练问题，但非常深的网络的准确度增益降

  图中的 Iterations 表示迭代次数；Test Error 表示测试集错误率。  (a)original 表示原始的 ResNet 的残差结构，(b)proposed 表示新的 ResNet 的残差结构。主要差别就是(a)结构先卷积后进行 BN 和激活函数计算，最后执行 addition 后再进行ReLU 计算； (b)结构先进行 BN 和激活函数计算后卷积，把 addition 后的 ReLU 计算放到了残差结构内部。  作者使用这两种不同的结构在 CIFAR-10 数据集上做测试，模型用的是

  MobileNet模型基于深度可分离卷积，这是一种分解卷积的形式，将标准卷积分解为深度卷积和的点卷积。对于MobileNet，深度卷积将单个滤波器应用于每个输入通道，然后，逐点卷积应用卷积将输出与深度卷积相结合。标准卷积在一个步骤中将输入滤波并组合成一组新的输出。深度可分离卷积将标准的卷积层分解为两层来做：   首先是各个通道单独做卷积运算，称之为Depthwise Convolution然后用一个1*1的标准卷积层进行各个通道间的合并，称之为Pointwise Convolution  论文...

DenseNet:以前馈方式将每一层连接到其他每一层。对于具有L层的传统卷积网络有L个连接(每一层与其后续层之间有一个连接)，而DenseNet有L(L+1)2\frac{L(L+1)}{2}2L(L+1)​个连接。  对于每一层，所有前面层的特征图都被用作输入，它自己的特征图被用作所有后续层的输入。  DenseNet有几个引人注目的优势：  在本文中，我们提出了一种架构，将这种见解提炼成一个简单的连接模式：为了确保网络中各层之间的最大信息流，我们将所有层（具有匹配的特征图大小）直接相互连接。为了保持

提出了卷积块注意模块（CBAM），这是一种用于前馈卷积神经网络的简单而有效的注意模块。给定一个中间特征图，我们的模块沿两个单独的维度（通道和空间）顺序推断注意力图，然后将注意力图乘以输入特征图以进行自适应特征细化。==因为 CBAM 是一个轻量级的通用模块，它可以无缝集成到任何 CNN 架构中，开销可以忽略不计，并且可以与基础 CNN 一起进行端到端训练。关键词：目标检测，注意力机制，门控卷积。图 1：CBAM 概述。该模块有两个顺序子模块：通道和空间。

  注意力机制的核心重点就是让网络关注到它更需要关注的地方。当我们使用卷积神经网络去处理图片的时候，我们会更希望卷积神经网络去注意应该注意的地方，而不是什么都关注，我们不可能手动去调节需要注意的地方，这个时候，如何让卷积神经网络去自适应的注意重要的物体变得极为重要。注意力机制就是实现网络自适应注意的一个方式。  注意力机制能够从大量的信息中筛选出重要的信息。在神经网络中引入注意力机制有很多种方法，以卷积神经网络为例，可以在空间维度增加引入注意力机制，也可以在通道维度增加注意力机制（SENet），当然也有

我们提出了一种用于图像分类的简单、高度模块化的网络架构。我们的网络是通过重复一个构建块来构建的，该构建块聚合了一组具有相同拓扑的转换。我们简单的设计产生了一个同构的多分支架构，只需设置几个超参数。这个策略暴露了一个新的维度，我们称之为“基数”（转换集的大小），作为除了深度和宽度维度之外的重要因素。在 ImageNet-1K 数据集上，我们凭经验表明，即使在保持复杂性的限制条件下，增加基数也能够提高分类精度。此外，当我们增加容量时，增加基数比更深或更宽更有效。

目前，神经网络架构设计主要由计算复杂度的间接度量，即 FLOPs 指导。然而，直接指标（例如速度）还取决于其他因素，例如内存访问成本和平台特性。因此，这项工作建议评估目标平台上的直接指标，而不仅仅是考虑 FLOP。基于一系列受控实验，这项工作得出了几个有效网络设计的实用指南。因此，提出了一种新的架构，称为 ShuffleNet V2。全面的消融实验验证了我们的模型在速度和准确性的权衡方面是最先进的。

我们引入了一个高效计算的CNN结构名字叫做shuffleNet，这个结构被设计用来解决部署算力非常有限的移动设备问题，这个新的结构使用了两个新的操作,pointwise group convolution 和 channel shuffle能够在极大减少计算量的同时保持一定的精度。我们在ImageNet classification和MS COCO目标检测数据集上做实验论证了ShuffleNet和其他的结构相比有着很好的性能。比如,相比于mobilenet，shufflenet在ImageNet...

  为移动设备设计卷积神经网络 (CNN) 具有挑战性，因为移动模型需要小而快，但仍要准确。尽管在所有维度上都致力于设计和改进移动 CNN，但当需要考虑如此多的架构可能性时，很难手动平衡这些权衡。在本文中，我们提出了一种自动移动神经架构搜索 (MNAS) 方法，该方法明确地将模型延迟纳入主要目标，以便搜索可以识别出在准确性和延迟之间取得良好折衷的模型。与之前的工作不同，延迟是通过另一个通常不准确的代理（例如 FLOPS）来考虑的，我们的方法通过在手机上执行模型来直接测量现实世界的推理延迟。为了进一步在灵活性

  SENet 是 ImageNet Challenge 图像识别比赛 2017 年的冠军，是来自 Momenta 公司 的团队完成。他们提出了 Squeeze-and-Excitation Networks（简称 SENet）。SENet 不是独立的模型设计，只对模型的一种优化。一般 SENet 都会结合其它模型一起使用，比如 SENet 用于 ResNet-50 中我们就把这个模型称为 SE-ResNet-50，比如 SENet 用于 Inception-ResNet-v2 中我们就把这个模型称为 SE

Xception是对Inception-V3的另一种改进版本，这两种网络的参数量都差不多。还是使用keras中的预训练模型来对自定义的数据集进行图像分类，共17个类别，文件夹的名称就是图片的标签。数据集是放在远程的GPU服务器上的，这个模型太大，我本地机器跑不动。......

后面看的相关论文，模型都太复杂，搭建出来可以，但是机器跑不动，还是用GPU服务器跑吧。

VGGNet 是 2014 年 ImageNet Challenge 图像识别比赛的亚军。参赛团队是来自牛津 大学的研究组 VGG (Visual Geometry Group)。VGGNet 的很多设计思想都受到 AlexNet 的影响，所以跟 AlexNet 也有一点点相似的地方。VGGNet 不仅在图像识别方向有着广泛应 用，很多目标检测，目标分割，人脸识别等方面的应用也会使用 VGGNet 作为基础模型。...

  Inception-v3 结构的复杂程度以后够复杂了，但是它还有几个升级版本，就是 Inception-v4，Inception-ResNet-v1 和 Inception-ResNet-v2。这几个升级版本都出自同 一篇论文《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》  这几个升级版的 Inception 模型基本设计思路都是遵循 Inception-v3 的设计思路，只不 过比

  Inception-v2和Inception-v3都是出自同一篇论文《Rethinking the inception architecture for computer vision》，该论文提出了多种基于 Inception-v1 的模型优化 方法，Inception-v2 用了其中的一部分模型优化方法，Inception-v3 用了论文中提到的所有 优化方法。相当于 Inception-v2 只是一个过渡版本，Inception-v3 一般用得更多。  Inception-v3 最大的优化是模型

GoogleNet 是 2014 年 ImageNet Challenge 图像识别比赛的冠军。从它的名字我们就 可以看出是来自谷歌的团队完成的。前面我们有介绍，GoogleNet 之所以获得冠军，是因为 它进行模型融合以后得到的效果要比 VGGNet 模型融合之后的效果要好。不过单模型比拼， 它与 VGGNet 的效果相当。虽然 GoogleNet 的模型的效果跟 VGGNet 相差不大，不过它比 VGGNet 更具有创新 性。......

(AI教父，2019图灵奖得主)AlexNet是2012年ImageNet图像分类竞赛的冠军，首次将卷积神经网络CNN和深度学习用于大规模图像分类并且性能优异，在今天也具有一定的参考价值。

ResNet 即深度残差网络，由何恺明及其团队提出，是深度学习领域又一具有开创性的工作，通过对残差结构的运用，ResNet 使得训练数百层的网络成为了可能，从而具有非常强大的表征能力

  MobileNetV1先使用深度卷积，再使用逐点卷积，全部采用ReLU6激活函数  MobileNetV2先使用卷积升维，在高维空间下使用的深度卷积，在使用卷积降维，在降维时采用线性激活函数。当步长为1时，使用残差连接输入和输出；当步长为2时，不适用残差连接，因为此时的输入特征矩阵和输出特征矩阵的shaoe不相等.........

MobileNets基于一种流线型架构，使用深度可分离卷积构建轻量级深度神经网络。我们引入了两个简单的全局超参数，可以有效地在延迟和准确性之间进行权衡。这些超参数允许模型生成器根据问题的约束为其应用程序选择适当大小的模型。我们在资源和准确性权衡方面进行了大量实验，与其他流行的ImageNet分类模型相比，我们表现出了强大的性能。然后，我们展示了MobileNet在广泛的应用和用例中的有效性，包括目标检测、精细分类、人脸属性和大规模地理定位。MobileNet模型可应用于各种识别任务，以实现高效的设备智能。.

总共5种花，按照文件夹区分花朵的类别。下载下来的是个压缩包，需要将其解压。https。

狗的品种共120种10222张训练图片train和test文件夹里面是图片labels.csv种记录着图片对应的标签值。关于mobileNet模型，这里不做过多介绍，只是迁移学习用到了，当然，你完全可以自定义网络。

数据来源为[https//github.com/SophonPlus/ChineseNlpCorpus/blob/master/datasets/weibo_senti_100k/intro.ipynb。)如果你有其他数据的话，也可以使用其他数据。上一博客我们讲解了CNN在中文微博情感分类项目中的应用，这一篇文章我们改用LSTM来完成，前期数据处理部分都是一样的流程，只有建模部分的程序不同。这一次我们使用的数据需要自己做处理，所以我们需要对句子进行分词，分词后再对每个词根据频率来进行编号。......

原始数据中有大量表情符号，如[爱你]，[哈哈]，[鼓掌]，[可爱]等，这些表情符号中对应的文字从较大程度上代表了这一句话的情感。所以我们做的这个项目之所以得到这么高的准确率，跟这里的表情符号是有很大关系。大家如果使用其他数据集来做情感分类，应该也会得到不错的结果，但是应该很难得到98%这么高的准确率。这里我使用的数据集是从新浪微博收集的12万条数据，正负样本各一半。这一次我们使用的数据需要自己做处理，所以我们需要对句子进行分词，分词后再对每个词根据频率来进行编号。这里我们要使用的分词工具是。...

我们不需要进行任何数据处理就可以直接载入数据，数据的训练集有25000条评论数据，正面评论12500条，负面评论12500条。并且句子已经做好了分词，而且还把每个词都变成了编号（词出现的频率越高，编号越小）。我们要使用的数据集是IMDB电影评论数据集，数据分为正面评论和负面评论。我们可以用一个简单的方式来理解一维卷积和二维卷积的区别，二维卷积它的kernel_size也是两维的，并且可以沿两个方向进行移动（比如水平方向和竖直方向），在文本分类中，使用一维卷积和二维卷积都可以。...

图片重建的效果如图所示，分别显示了在第1、10、100个Epoch时，输入测试集的图片，获得的重建效果，每张图片的左5列为真实图片，右5列为对应的重建效果。解码器负责将隐变量𝒛解码为重建的𝒙。不同的是，VAE模型对隐变量𝒛的分布有显式地约束，希望隐变量𝒛符合预设的先验分布P(𝒛)。可以看到，图片重建的效果是要略好于图片生成的，这也说明了图片生成是更为复杂的任务，VAE模型虽然具有图片生成的能力，但是生成的效果仍然不够优秀，人眼还是能够较轻松地分辨出机器生成的和真实的图片样本。...

FashionMNIST是一个定位在比MNIST图片识别问题稍复杂的数据集，它的设定与MNIST几乎完全一样，包含了10类不同类型的衣服、鞋子、包等灰度图片，图片大小为28×28，共70000张图片，其中60000张用于训练集，10000张用于测试集，如图所示，每行是一种类别图片。，并基于隐藏向量h利用解码器重建图片，自编码器模型如图所示，编码器由3层全连接层网络组成，输出节点数分别为256、128、20，解码器同样由3层全连接网络组成，输出节点数分别为128、256、784。......

  我们这里使用张量的基本操作去完成三层神经网络的实现：out=ReLU(ReLu(ReLU(X@W1+b1)@W2+b2)@W3+b3)out=ReLU(ReLu(ReLU(X@W_1+b_1)@W_2+b_2)@W_3+b3)out=ReLU(ReLu(ReLU(X@W1​+b1​)@W2​+b2​)@W3​+b3)  采用的数据集是MNIST手写数字图片数据集，输入节点数为784，第一层的输出节点数是256，第二层的输出节点数是128，第三层的输出节点数是10，也就是当前样本属于10个类别的概

  Google的“Quick Draw”数据集是一个开源的数据集。该数据集共有345个类别，共5000万张图片，所有这些图片都是由参与挑战的1500万名用户在20s或者更短的时间内绘制完成。  这里将在10个类别的100万张图片上进行学习，为了测试模型的辨别力，特意选择了一些比较相似的图像  从Google 下载数据，并将其保存至名为"data_files"的空目录下面。  具体操作如下：访问地址https://console.cloud.goole.com/storage/browser/quickdr

这里以MNIST数据集来介绍Keras创建人工神经网络模型的四种方法模型定义如下(注意观察祝贺在模型定义中进行层列表的传递)：查看模型结构数字401920的计算方法为(28×28)×512(dense_2层)=784×512=401408(28\times 28)\times 512(dense\_2层)=784\times 512=401408(28×28)×512(dense_2层)=784×512=401408401408+512(每个dense_2层神经元的偏置单元)=4

双向RNN(Bidirectional RNN)的结构如下图所示。ht→=f(W→xt+V→ht−1→+b→)ht←=f(W←xt+V←ht−1←+b←)yt=g(U[ht→;ht←]+c)\overrightarrow{h_t}=f(\overrightarrow{W}x_t+\overrightarrow{V}\overrightarrow{h_{t-1}}+\overrightarrow{b})\\\overleftarrow{h_t}=f(\overleftarrow{W}x_t+\overl