Philo的博客

文章详细介绍了Inception v4及Inception ResNet网络结构，并给出了Pytorch代码

建议跟着讲解视频自己敲一遍，加深理解！想要看懂VIT中的一些内容，需要的基础知识点就是自己跑过一些CV方向的Demo，知道常见CV领域的一些操作，剩下的就是跟着霹导的视频学习就好了，讲解的非常详细，代码说的也很好！Hybrid VIT 唯一不同就是红色框中的东西，反正Embedding层使用ResNet提取特征之后，维度，大小啥的，用Conv2d调整一下就行了！这里的Head就是避免单一的Head学习到的的东西有点少，就多用几个Head，然后将学习到的东西综合一下，这样学习能力上去了，容错性也大了！

这里Block，除了输入和输出的通道会发生变化，在中间层进行卷积时，使用的通道数都是Mid_channels，同时在最下层的卷积中，使用的是膨胀卷积。这里的L=7，指的是RSU-7，是En_1和Dn_1的内部结构，在前四层中，都是使用的是RSU结构；保留了原始的U-Net网络结构，只是将每一个Block的内部结构做了很大的调整，换成了一个U-Net，同时针对整个结构的输出做出调整，在训练时，给六个输出进行loss计算，在测试时只得到一个输出。

因此DenseNet基于这一特性，不在盲目的增加网络层数，而是参考ResNet出现的问题，ResNet将每一个模块的输出和原始输入数据相加作为最后的输出，而DenseNet是将每一个模块中，每一个卷积层的输入都是来自其之前所有卷积层的输出，而其输出也是都传递给它之后的每一个卷积层作为输入。同时，这里将多个结果作为输入并不是进行简单的相加，而是在通道上进行链接，这也缩短了每一层的参数和Loss函数的距离，增加了模型的训练速度，减少了梯度问题，这也是该模型的一大优势。一轮10分钟，出道即巅峰！

这个和我们的认知相违背，在一般的网络中，随着层数的增加，下层网络学的的是上层传递下来的东西，设置为H(x)，假设原始输入的为X，由于层数增加，下层只是拟合H(x)，效果如上图所示，层数增加，效果变差，因此HeKaiMing团队提出，下层直接拟合H(x)效果不好，那H(x)上面的层数，拟合H(x)-x的效果如何呢？主要是想看看具体的残差如何实现的，但是网上的少之又少，所以凑合写了一个，仅供参考，主要是娱乐自己。ResNet是真正打开了深层模型的大门。，主要是使用的是Kaggle平台。

可以把他看做inception网络中的一个小细节，它确保了即便是隐藏单元和中间层也参与了特征计算，他们也能预测图片的类别，他在inception网络中起到一种调整的效果，并且能防止网络发生过拟合。就是结构图中的右边部分，在训练模型时，将两个辅助分类器的损失乘以权重（论文中是0.3）加到网络的整体损失上，再进行反向传播。从左往右1，2，3，4通道最后需要输出的通道数是64，512，256，128， 同时1*1的卷积输出通道为64。这里和V1比较，就是2，3，4通道都添加了1*1的卷积层，这是为了减少参数。

修改方法：将源码中出现的ReLU和Dropout参数中的True改为False。的冠军，开启了深度学习模型在图像分类中的应用历程，由。第一步：在Kaggle平台上搜索。，找到并new Notebook。第三步：复制以下代码，跑起来吧！三人提出，因此网络名称为。