关于LeNet和AlexNet

链接：https://blog.csdn.net/cyh_24/article/details/51440344

LeNet已经具有CNN的基本结构，卷积层，pooling层，全连接层。

但是LeNet在当时没有造成轰动，直到ALexNet出现才重新提及LeNet。

 

AlexNet做出的改变有;

1.引入了ReLU激励函数。

2.使用了一些防止过拟合的方法，Dropout， data augmetation。

3.有imagenet大数据集的训练

4.其他：使用GPU加速训练，LRN等

 

 

一些点：

对于大网络参数过多，容易产生过拟合。

对于Sigmoid激励函数会出现饱和神经元的现象，导致网络学习慢.

dropout：以0.5的概率，将每个隐层神经元的输出设置为零。所以每次输入一个样本，就相当于该神经网络就尝试了一个新的结构，但是所有这些结构之间共享权重。