LeNet-5
共七层(不包括输入层):Cov1,Pool2,Cov3,Pool4,Fc5,Fc6,7输出层。
6w个参数,原始的leNet-5池化后进行了非线性处理。
使用sigmod和tanh非线性函数,而不用RelU非线性函数(那时代文献原著中)
AlexNet:6千w个参数,使用ReLU激活函数
以13**13*256为例局部:看一个位置的宽和高,跨越256个通道然后归一化。(原始的AlexNet结构有局部响应归一层LRU,后来学者研究该层不太管用)
VGG/VGG-16网络(16指该网络有16层带权重的层):1.38亿个参数,高和宽随着网络深入减少