《机器学习》阅读笔记 第五章

神经网络的本质是回归模型

• 神经网络的本质是一个多次线性组合+非线性变换的回归模型
• 每一层神经元构成线性组合
• 到下一层的激活函数构成非线性变换
• 输出层的结果与真实结果比较，得到误差函数
  • 分类常用交叉熵损失
  • 回归常用均方误差

反向传播算法

• 反向传播算法算法的基础是一阶梯度下降算法
• 用损失函数对每一层的参数求导，得到参数更新的方向
• 设置学习率，作为参数更新的步长
• 利用梯度下降公式，更新参数，构成学习过程
• 达到停止条件，则停止更新，输出参数

跳出局部极小点

• 多种初始化方法
• 模拟退火算法
• 随机梯度下降及其变种
  • 动量法
  • RMSProp
  • ADAM

防止过拟合

• 早停（利用测试数据监督外样本精度）
• 正则化方法

其它神经网络

• RBF网络：使用径向基函数作为隐层神经元激活函数
• ART网络：竞争性学习
• SOM网络
• 级联相关网络
• Elman网络
• Boltzmann 机