[机器学习]神经网络

神经元模型

定义：神经网络是由具有适应性的简单单元组成的广泛并行互连的网络。

M-P神经元模型

在该模型中，神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，通过“激活函数”处理以产生神经元输出。

此处 $y=f({\sum }_{i=1}^n{w}_i{x}_i-\theta )$ 为激活函数。

理想中激活函数是阶跃函数，它将输入值映射为输出值0或1，1对应神经元兴奋、0对应神经元抑制。但由于阶跃函数不连续、不光滑，所以实际常用Sigmoid函数作为激活函数。
总的来说，我们可以将神经网络视为包含了许多参数的数学模型，该模型由若干个函数如 $y=f({\sum }_{i=1}^n{w}_i{x}_i-\theta )$ 相互嵌套代入所得。

感知机

感知机由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元。

一般地，权重 $w_i$ 和阈值 $\theta$ 都可通过学习得到。而阈值 $\theta$ 可看作一个固定输入为-1的“哑结点”所对应的连接权重 $w_{n+1}$ ，于是权重的阈值的学习统一为权重的学习。

学习规则：

若当前感知机的输出为$\hat{y}$，在神经网络的学习过程中感知机的权重调整规则如下：
$$w_i⟵w_i+△w_i$$
$$△w_i=\eta (y-\hat{y})x_i$$
$\eta \in (0,1)$ 为学习率。

从上面的公式我们可以看出，若感知机对训练样例 $(X,y)$ 预测正确，即 $\hat{y}=y$ ，则感知机不发生变化，否则将根据错误程度进行权重调整。

我认为这里原理就是迭代算法，在每一次循环中更新权重，直至达到某种条件后输出结果。

特点

感知机只有输出层神经元进行激活函数处理，即只有一层功能神经元，只能解决线性可分问题。

要解决非线性可分问题，则考虑使用多层功能神经元。输出层与输入层之间还有一层神经元，被称为隐层或隐含层。

多层前馈神经网络

1. 每层神经元与下一层神经元全互连
2. 神经元之间不存在同层互连
3. 不存在跨层互连

神经网络的学习过程，就是根据巡练数据来调整神经元之间的“连接权”以及每个功能神经元的阈值。

误差逆传播算法（BP算法）

• 一个迭代学习算法，每一轮中对参数进行更新估计

• 基于梯度下降策略，以目标的负梯度方向对参数进行调整

• 目标：最小化训练集D上的累计误差

  $E=\frac{1}{m}{\sum }_{k=1}^m{E}_k$
  $E_k=\frac{1}{2}{\sum }_{j=1}^l({\hat{y}}_j^k-y_j^k{)}^2$

处理BP网络的过拟合问题

1.early stopping

将数据分为训练集和验证集，训练集计算梯度、更新连接权和阈值，验证集估计误差。若训练集误差降低二验证集误差升高，则停止训练，同时返回具有最小验证集误差的连接权和阈值。

2.正则化

$E=\lambda \frac{1}{m}{\sum }_{k=1}^m{E}_k+(1-\lambda ){\sum }_i{w}_i^2$