一、LeNet-5-------1998年
由LeCun在1998年提出,用于手写数字分类
(1)提出了权重共享、特征图的概念
(2)激活函数:双曲正切
(3)网络权重初始化:均匀分布
(4)训练:BP+SGD
二、AlexNet------2012年
(1)使用ReLU激活函数,减小梯度消失、防止过拟合,并加快了训练速度
(2)数据增强:对图像进行裁剪、翻转、变换等操作
(3)将SGD改为了动量SGD
(4)添加了dropout机制
三、ZF-Net------2013年