weixin_44287354的博客

文章目录简介特点ReLULRN与BNDropout网络结构224与227具体结构Pytorch代码实现相关参考 简介 AlexNet由Alex Krizhevsky提出的卷积神经网络，它在ImageNet LSVRC-2010比赛中夺得冠军并且远超第二名，证明依靠深度学习得到的特征可以优于手工设计的特征，掀起了CNN的浪潮。它在深度学习的发展过程中具有里程碑意义。 特点 ReLU 饱和与非饱和函数：当x趋向于正无穷与负无穷时，函数的导数都趋近于0，此函数即为饱和函数如Sigmoid和tanh，否则为非饱和

一、简介  LeNet是最早的卷积神经网络之一，诞生于1994年。通常说的LeNet一般是指LeNet经过多次迭代后的LeNet-5，是由Yann LeCun(被誉为“卷积网络之父”，深度学习三巨头之一)在1998年的论文"GradientBased Learning Applied to DocumentRecognition"中提出的用于手写字符识别的高效卷积神经网络。它是卷积神经网络的开山之作，大大推动了深度学习领域的发展。 二、网络结构  LeNet-5提出年代较早，面对当时计算能力的限制，为了降