周志华《机器学习》笔记（五）——第5章 神经网络

以标准BP算法为例，对神经网络的正向传播、反向传播过程进行推导，同时提出使用神经网络算法时需要考虑的问题和一些技巧。

1、正向传播（预测）

2、反向传播（训练）

3、问题与技巧

（1）局部最优问题：训练多个神经网络，取最优；模拟退火；随机梯度下降；遗传算法

（2）过拟合问题：早停、正则化

（3）优化器：各种主流凸优化方法的归纳与总结。
https://blog.csdn.net/google19890102/article/details/69942970.
https://zhuanlan.zhihu.com/p/47453144.

（4）激活函数：增加神经网络的非线性分割能力。

（5） 深度学习：基于深度神经网络的机器学习方法。

（6）“层数多收敛慢”问题：预训练+微调；权值共享（CNN）。