《机器学习》读书笔记 7 第5章 神经网络 一

1 神经元模型

神经网络

神经网络是有具有适应性的简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体作出的交互反应。机器学习中的神经网络指的是神经网络学习。

M-P 神经元模型

在这个模型中，神经元接收到来自n个其他神经元传递过来的输入信号，这些信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值做比较，然后通过激活函数处理以产生神经元的输出。

激活函数

理想的激活函数是阶跃函数：一个分段函数 x<0 y=0,x>=0 y=1.但其不连续、不光滑。
常用的阶跃函数为Sigmoid函数，典型的Sigmod函数是对数几率函数:

$$sigmoid(x)= \frac{1}{1+e^{-x}}$$

2 感知机与多层网络

感知机

感知机由两层神经元组成。输入层接收外界输入信号后传递给输出层，输出层是M-P神经元，也称阈值逻辑单元。
感知机能容易实现逻辑与、或、非运算。

感知机的学习规则

简化：阈值可以看作一个固定输入为-1的哑结点，对应一个额外的连接权重，这样阈值学习就可以统一为权重学习。
规则：对训练样例$(\mathbf{x},y)$,若当前感知机的输出为$\hat{y}$,则感知机权重将这样调整：

$$w_i\leftarrow w_i + \Delta w_i$$
$$\Delta w_i = \eta (y-\hat{y})x_i$$
若感知机对训练样例 $(\mathbf{x},y)$预测正确，则感知机不发生变化，否则根据错误的程度进行权重调整。

注意：感知机只有输出层神经元有激活函数，学习能力有限，甚至不能解决异或这样简单的非线性可分问题。

多层网络

两层感知机就能解决异或问题。
输出层与输入层之间的一层神经元，称为隐层或隐含层。
隐含层和输出层神经元都是拥有激活函数的功能神经元。

多层前馈神经网络

常见的神经网络，每层神经元与下一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接，称为多层前馈神经网络。

神经网络学习过程

神经网络的学习过程就是根据训练数据来调整神经元之间的连接权 以及 各功能神经元的阈值。神经网络学到的东西，蕴含在连接权和阈值中。