参考:《解析深度学习——卷积神经网络原理与视觉实践》
网址:http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf
一、VGG
特点:
(1)使用小卷积核和“保持输入大小"等技巧,目的在增加网络深度(复杂度)时各层输入大小随深度增加而不极具减小。
(2)通道数也逐渐在增加。
二、NIN
特点:
(1)NIN采用了复杂度更高的多层感知机作为层间映射形式,一方面提供了网络层间映射的一种新可能;另一方面增加了网络卷积层的非线性能力,使得上层特征可有更多复杂性与可能性的映射到下层,这样的想法也被后期出现的残差网络 和Inception等网络模型所借鉴。
(2)用全局汇合操作(global average poolig)代替全连接层(分类层)。
三、残差网络(高速公路网络的简化,将变换门和携带门用近路连接代替,即直接用恒等映射代替非线性变换。近路连接使梯度信息可以在多个神经网络层之间有效传递。)
权重初始化策略和批规范化极大改善梯度爆炸或梯度消失的问题(由网络深度引起的)。
(1)普通残差模块与瓶颈残差模块
(2)高速公路网络的简化,将变换门和携带门用近路连接代替,即直接用恒等映射代替非线性变换。近路连接使梯度信息可以在多个神经网络层之间有效传递。
(3)也用到了全局汇合操作(global average poolig)代替全连接层