【菜鸟笔记|机器学习】神经网络

今天学习的神经网络模型，和大脑的神经元很相似，可以说是深度学习的基础了。神经网络最基础的模型是感知机，由感知机发展为神经网络。求解神经网络中权重的算法是误差逆传播算法（BP）。

1.感知机

感知机由两层神经元组成，一个输入层，一个输出层。输出层经过一个激活函数（sigmoid函数）处理后可以得到我们想要的分类结果。感知机输入输出的关系可以表示为：

权重ω和阈值θ就是我们要学习的参数。权重和阈值可统一为权重的学习。感知机权重的学习就是根据当前感知机的输出不断去更新权重的过程：

2.BP算法

感知机只有输出层这一层功能神经元，学习能力非常有限，因此需要使用多层功能神经元，这就是我们所说的神经网络。若要训练神经网络，感知机的学习规则就不够了，需要更强大的学习算法—BP算法。以单隐层神经网络为例，我们需要求四个参数：隐层之前的权重υ和阈值γ、输出层前的权重ω和阈值θ。先求得网络在训练集上的均方误差：

Ek分别对四个参数求偏导，αh代表第h个隐层神经元的输入，bh代表第h个隐层神经元的输出，βj代表第j个输出神经元的输入，可以得到更新公式：