LeNet-5
-------------------------------------------------------------------------------------------------------------------------
记得pooling没有参数!
AlexNet
由于当时GPU内存限制,网络被放在了两个GPU上
-------------------------------------------------------------------------------------------------------------------------
2014 VGG Net(16/19层)
更深,更小的卷积核(3*3)
三层3*3的conv和一层7*7的conv的effective receptive filed(对于原始输入的感受野)一样大,都是7*7,三层比一层可以由激活函数增加更多非线性。
而且三层3*3的参数比一层7*7的少 3*(3*3*c*c) < 7*7*c*c
c是channel数,此处卷积时不变(保留channel数)
memory很大,最多只能几十张图片
参数有一亿多个
ImageNet大赛中,作者采用集成学习,集成了几个网络
------------------------------------------------------------------------------------------------------------------------------
GoogleLeNet(Inception v1)
更深,22层 且没有全连接层,只有500万个参数,计算量小
Inception module
另外两个中间的的输出,是为了反向传播梯度回去,增加信号强度。
----------------------------------------------------------------------------------------------------------------------------------
ResNet 152层
可以由下图看到,对于一般的网络,太深反而效果更差,并且不是因为过拟合的原因。
更深的网络之所以效果差,是因为难以优化。深的网络至少可以和浅的网络一样,即copy前面,后面学习为Identity function。
解决方案:学习残差
###Google LeNet和Res Net都没有全连接层了,用global average pooling 代替。 来源于论文Network in Network
深层ResNet也采用bottle neck层,即1*1conv降维
当年ResNet的表现已近超越了人类水平
-----------------------------------------------------------------------------------------------------------------------------
上图右边,圆圈大小代表memory
--------------------------------------------------------------------------------------------------------------------------------