resnet和MobileNet

resnet

发现网络越深，效果反而会退化，于是引入残差这个东西。

使用了残差，左边是两次的卷积操作，得到f(x)，右边是直接传入自身，即短路连接，思想是拟合这个f(x)，至少不会比原来的更差，大不了f(x)取0，之后逐个元素相加即可。这就是一个残差模块。

因为最后要相加，所以两个的高、宽、channel必须一样。右边这个使用的两个1*1卷积是用来降低升高维度的。右边这个参数可以减少很多。

这里的每一个stage的第一层都是下面的这种虚线结构。

resnet网络的部分结构。可以看到，有的是实线，有的是虚线。

右边这个虚线，是最后得到的两条路上的shape都是（28，28，128）这样最后才能相加。（stride=2可以把长宽变成28），实线部分两个的shape是和初始一致的。



这里batch size = 2，就是说有2个图像，计算均值是对全部图片的某一个channel进行计算的。

MobileNet

模型的亮点如图所示，有两个。

DW卷积，前面提到过。

深度可分离卷积。pw卷积就是使用多个11卷积操作。

可以看到，参数减少很多。

阿发指的是卷积核的个数，β指的是图片分辨率，如224224像素。

mobilenet v2

（a)是残差结构，先使用11进行降维度，然后用33卷积，最后用1*1升维度，造成中间扁，两头宽的结构，而且激活函数用relu。而倒残差结构则相反，中间还换成了dw卷积操作，激活函数使用relu6。

relu6如上图所示。

注意：在倒残差结构的最后一节，使用了线性的激活函数，因为通过relu生成低维度的信息会造成大量的损失，而倒残差的两头属于低维度，所以不使用relu。

左边就是v2的结构图。可以看到最后一步使用了线性激活，注意：并不是每一个倒残差结构都有捷径分支，当stride=1的时候有，当stride=2的时候就没有。

注意这些参数。t是一个倍率因子，用来扩大深度。s是传入的步距，后面长宽会变成1/s。k’是人为指定的

mobile v3

在v2的倒残差结构上做了一些改动，


se注意力机制模块，fc1的节点个数是输入矩阵的channel数的1/4，而fc2的节点个数和输入矩阵的channel数一样，得到的（0.5，0.6）就是权重，乘以原始矩阵即可。

又做了2点改动。

v2基本使用的是relu6，v3使用h-sigmod和h-swish了。

exp_size指的是第一层的1*1卷积升高的维度倍数。