关于各种CNN架构（笔记）

googlenet：由1 * 1卷积，3 * 3卷积，5 * 5卷积，3 * 3最大池化四个并行通道运算结果进行融合，提取图像不同尺度的信息。如果说VGG是以深度取胜，那么GoogLeNet可以说是以宽度取胜；

mobilenets：一个depthwise convolution，专注于该通道内的空间信息，一个pointwise convolution，专注于跨通道的信息融合，两者共同努力，然后强大；

resnet：利用残差网络，解决深层网络因为陷身于梯度消失等问题而不能很有效地训练更深的网络问题；

deformable convolution network：非正常卷积，卷积核不规则；

densenet：将网络中的每一层都直接与其前面层相连，把残差做到了极致，提高了特征的利用率；因为可以把网络的每一层设计得很窄，提高计算性能；

非局部神经网络：卷积神经网络因为局部连接和权重共享而成功，但是它的感受野是有限的。为了这样，我们不得不使用更深的网络，由此带来了三个问题。(1) 计算效率不高。(2) 感知效率不高。(3) 增加优化难度。这一次又是学神凯明带队出发，从传统降噪算法Non-Local中完成借鉴。