吃瓜有感-机器学习西瓜书摘要4

学习周志华老师《机器学习》西瓜书第五章 神经网络 摘要及笔记。

        神经元模型

        神经网络是当今火热的深度学习的基石，M-P神经元模型沿用至今：

Sigmoid函数成为激活函数中应用较为广泛的神经元处理算法，多个神经元按一定的层次结构相连就得到了神经网络。

        感知机与多层神经网络

        两层神经元组成感知机，只有一层功能神经元，学习能力有限，只能解决线性可分的问题。若要解决非线性可分的问题，则需要多层功能神经元，输出层与输入层之间的神经元，称之为隐层，每层神经元之间不存在同层连接，也存在跨层连接的神经网络结构通常称为“多层前馈神经网络”。

        误差逆传播算法

        误差逆传播算法，也称反向传播算法，是多层神经网络学习算法的代表，其不仅可以用于前馈神经网络，也可以用于如递归神经网络的其它神经网络。BP算法基于梯度下降策略，以目标负梯度方向对参数做调整。

        标准BP算法每次仅针对一个训练样例更新连接权重和阈值，为达到累积误差极小点，BP算法需要进行多次迭代，读取训练集一遍称为进行了“一轮”（one epoch）学习。已经证明，只要隐层足够多，多层前馈网络就能以任意精度逼近任意复杂度的连续函数。由于其能力强大，一般通过早停法与正则化来缓解过拟合问题。