神经网络发展历程——积跬步至千里

phoenix@Capricornus

已于 2025-05-07 11:55:07 修改

阅读量241

点赞数 3

分类专栏：模式识别与机器学习文章标签：神经网络人工智能深度学习

于 2025-05-04 08:32:16 首次发布

本文链接：https://blog.csdn.net/u013600306/article/details/147673268

版权

36 篇文章

订阅专栏

神经网络类型	层	线性or非线性	创新	问题	备注
感知器	单层	线性模型，输出 $+ 1$ ， $- 1$	误差反馈学习	阈值函数不可导，构造学习规则	与感知器准则等价
线性神经元	单层	线性模型	梯度下降法训练参数	线性函数，多层仍是线性变换	本质上是最小二乘准则，最小化误差平方和
浅层神经网络（早期）	多层	非线性模型	Sigmoid、非线性、BP算法	一般单个隐含层、多层梯度消失	多元复合函数求导的链式法则
深层神经网络（现代）	多层	非线性模型	ReLU、学习算法、参数初始化	——	更好的神经层激活函数（如ReLU）更好的权重初始化方案更好的梯度下降法（如RMSprop和Adam）