机器学习总结（lecture 11）算法：人工神经网络ANN

神经网络内容比较多，这里先简单介绍，后面会有更详细的介绍。

lecture 11：人工神经网络ANN

目录

1前向传播

2后向传播

3BP算法

4需要注意的问题

以后博客中，会给出方案

（1）隐含节点的个数选择
（2）隐含层数的选择
（3）激励函数的选择
（4）权值如何初始化
（5）过拟合时，如何正则化（L1、L2、Dropout、早停等）
（6）梯度下降时，批量、随机、小批量
（7）优化算法的选择：GD、动量项（Momentum）、Adam等
（8）权重衰减（正则化技术）
（9）学习率的选择（自适应）
（10）数据集标签one-hot
（11）数据归一化，提高收敛速度
（12）损失函数：交叉熵损失函数
（13）如何跳出局部最小值
（14）梯度消失、梯度爆炸问题
（15）方差、偏差（过拟合、欠拟合）
（16）向量化实现，避免使用for循环
（17）梯度检验