西瓜书读书笔记（五）-神经网络

全部笔记的汇总贴：《机器学习》西瓜书-读书笔记汇总贴

一、神经元模型

神经网络是由具有适应性的 简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。神经网络中最基本的成分是神经元（neuron）模型，许多的神经元按一定的层次结构连接起来，就得到了神经网络。

二、感知机与多层网络

感知机（Perceptron）由两层神经元组成。只有输出层神经元进行激活函数处理，即只拥有一层功能神经元（functional neuron），其学习能力非常有限。

要解决非线性可分问题，需考虑使用多层功能神经元，这样的网络被称为多层前馈神经网络。

三、误差逆传播算法

多层网络的学习能力比单层感知机强得多． 欲训练多层网络，简单感知机学习规则显然不够了，需要更强大的学习算法．误差逆传播（简称 BP）算法就是其中最杰出的代表，它是运今最成功的神经网络学习算法。

正是由于其强大的表示能力，BP神经网络经常遭遇过拟合，其训练误差持续降低，但测试误差却可能上升。

1. 早停：将数据分成训练集和验证集，训练集用来计算梯度、 更新连接权和阈值，验证集用来估计误差࿰