机器学习（5）

目录

5-1神经网络模型

5-2万有逼近能力

5-3BP算法推导

---

5-1神经网络模型

什么是神经网络？

“神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应”。

用的最多的神经元模型——M-P神经元模型。

f就是所谓的激活函数，有了激活函数以后，就可以进行非线性变换了。

多层前馈网络结构

多层网络：包含隐层的网络

前馈网络：神经元之间不存在同层连接，也不存在跨层连接

隐层和输出层神经元亦称“功能单元”

5-2万有逼近能力

多层前馈网络有强大的表示能力（“万有逼近性”）

5-3BP算法推导

BP（误差逆传播算法）

BP是一个迭代学习算法，在迭代的每一轮采用广义感知机学习规则。

减小误差的一般方法，求导往梯度下降的地方走

BP算法基于梯度下降策略，以目标的负梯度方向对参数进行调整

随机初始化输入层，隐层和输出层的参数，根据输入，计算隐层和输出层的值，根据输出层的输出值和真实值的误差用BP算法反向计算各参数的误差，不断训练。