神经网络与深度学习第二周内容总结

一、线性分类与感知机

1. 线性回归

定义：利用数理统计中的回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

要素：训练集、输出数据、模型

学习过程：

数学模型：

假设该问题与n个因素有关，则：

优化目标为最小化

2. 线性二分类问题

定义：线性分类器则透过特征的线性组合来做出分类决定，以达到此种目的。简言之，样本通过直线(或超平面)可分。

输入：特征向量

输出：类别属性

数学处理：值域变换，利用Sigmoid等函数将输出映射到（0，1）之间，作为概率。

此时的优化问题变为

3. 对数回归与多分类回归

4. 神经元模型

相关模型：生物神经网络 -- 生物神经元 -- 生物神经元（Spiking模型）-- 生物神经元(Integrate-and-fire模型) -- 人工神经元模型(M-P模型) -- 单神经元模型

作用函数：

(1)非对称型Sigmoid函数（Log Sigmoid）

(2)对称型Sigmoid函数（Tangent Sigmoid）

(3)对称型阶跃函数

5. 感知机模型

感知机原理：感知机(Perceptron)是1957年，由Rosenblatt提出，是神经网络和支持向量机的基础。感知机用于解决线性分类问题，如下图所示：

二、BP神经网络

1. 多层感知机

定理：

1. 若隐层节点(单元)可任意设置，用三层阈值节点的 网络，可以实现任意的二值逻辑函数。

2. 若隐层节点(单元)可任意设置，用三层S型非线性特 性节点的网络，可以一致逼近紧集上的连续函数或按 范数逼近紧 集上的平方可积函数。

2. BP算法

BP学习算法由正向传播和反向传播组成。正向传播是输入信号从输入层经隐层，传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。

反向传播是将误差(样本输出与网络输出之差)按原联接通路反向计算，由梯度下降法调整各层节点的权值和阈值，使误差减小。

优点：

自主学习，可逼近任意非线性函数

缺点：算法非全局收敛；收敛速度慢...