神经网络1

线性分类与感知机

1 线性回归

定义：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法

线性回归要素

训练集、输出数据、模型、输入数据的维数（特征个数）

学习过程

2 线性分类

线性分类器则透过特征的线性组合来做出分类决定，以达到 此种目的。简言之，样本通过直线(或超平面)可分

线性分类要素

输入：特征向量、输出：哪一类

线性分类与线性回归的差别

• 输出意义不同：属于某类的概率<->回归具体值
• 参数意义不同：最佳分类直线<->最佳拟合直线
• 维度不同：前面的例子中，一个是一维的回归，一个是二维的分类

学习过程

• 构造二分类的“分界直线”

  一边是负值，一边是正值。越属于这类，值越大(正)，反之越小(越负)

  

  进一步，因为我们最终需要概率，结果在0-1之间，因此需要对值 做一个变换：

  

  该函数称作 Sigmoid 函数

3 神经元模型

3.1 神经元模型

• 生物神经元

• 人工神经元模型：M-P模型

• 单神经元模型

3.2 作用函数

3.2.1 非对称型 Sigmoid 函数（Log Sigmoid）

3.2.2 对称型 Sigmoid 函数（Tangent Sigmoid）

3.2.3 对称型阶跃函数

3.3 Hebb 规则

多层前馈网络与误差反传算法

1 多层感知机

1.1 XOR问题

线性不可分问题：无法进行线性分类。Minsky 1969 年提出 XOR 问题

1.2 多层感知机

• 解决方法：使用多层感知机

  在输入和输出层间加一个或多层隐单元，构成多层感知机（多层前馈神经网络）。

  加一层隐节点（单元）为三层网络，可解决异或（XOR）问题，见图。

  

  

三层感知器可识别任一凸多边形或无界的凸区域。 更多层感知器网络，可识别更为复杂的图形。

多层感知器网络，有如下定理：

• 定理1 若隐层节点（单元）可任意设置，用三层阈值节点的 网络，可以实现任意的二值逻辑函数。

• 定理2 若隐层节点（单元）可任意设置，用三层S型非线性特 性节点的网络，可以一致逼近紧集上的连续函数或按 范数逼近紧 集上的平方可积函数

2 多层前馈网络及BP算法概述

2.1 多层前馈网络

多层前馈网络的反向传播 （BP）学习算法，简称BP算法，是有导 师的学习，它是梯度下降法在多层前馈网中的应用。

网络结构：见图，u、y是网络的输入、输出向量，神经元用节点表示，网络由输入层、隐层和输出层节点组成，隐层可一层，也可多 层（图中是单隐层），前层至后层节点通过权联接。由于用BP学习 算法，所以常称BP神经网络

2.2 BP算法简述

• 已知网络的输入/输出样本，即导师信号

• BP学习算法由正向传播和反向传播组成：

  • 正向传播是输入信号从输入层经隐层，传 向输出层，若输出层得到了期望的输出， 则学习算法结束；否则，转至反向传播。

  • 反向传播是将误差(样本输出与网络输出 之差）按原联接通路反向计算，由梯度下 降法调整各层节点的权值和阈值，使误差减小。

    

3 BP 算法详解

3.1 BP 算法基本思想

① 设置初始权系数 $W_0$ 为较小的随机非零值；

② 给定输入/输出样本对，计算网络输出, 完成前向传播

③ 计算目标函数 $ȷ$。如 $ȷ$ < $\epsilon$ , 训练成功，退出；否则转入④

④ 反向传播计算由输出层，按梯度下降法将误差反向传播，逐 层调整权值。

3.2 BP算法推导

4 算法总结

• 优点

  • 学习完全自主
  • 可逼近任意非线性函数

• 缺点

  • 算法非全局收敛
  • 收敛速度慢
  • 学习速率 α 选择
  • 神经网络如何设计(几层？节点数？）