神经网络与深度学习1

1线性回归

定义：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法

要素：训练集、输出数据、模型、训练数据的条目数

回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。

2线性二分类问题

定义：线性分类器则透过特征的线性组合来做出分类决定，以达到此种目的。简言之，样本通过直线(或超平面)可分

线性分类与线性回归差别：

1. 输出意义不同：属于某类的概率<->回归具体值

2. 参数意义不同：最佳分类直线<->最佳拟合直线

3. 维度不同：前面的例子中，一个是一维的回归，一个是二维的分类

引入Sigmoid函数对线性回归的输出值做变换：

3神经元模型

3.1神经元模型

1. 生物神经元：Spiking模型，Integrate-and-fire模型

2. 人工神经元：M-P模型

3. 单神经元

3.2作用函数

1. Log Sigmoid：

2. Tangent Sigmoid：

3. 对称型阶跃函数：

4感知机模型

感知机(Perceptron)是1957年，由Rosenblatt提出，是神经网络和支持向量机的基础。

感知机与神经元模型相比具有完全相同的形式。

单层感知机：感知机由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元。

多层感知机：在输入层与输出层之间增加一或多层隐单元，以解决XOR问题（无法进行线性分类）

5BP算法

BP算法，即多层前馈网络的反向传播学习算法，其网络结构如下图

单隐层

BP算法由正向传播和反向传播组成，其基本思想为梯度下降算法，对每一个输入样本，调整网络参数，使输出均方误差最小化。

1. 设置初始权系数w0为较小的随机非零值

2. 给定输入/输出样本对，计算网络输出, 完成前向传播

3. 计算目标函数J。如J<epsilon, 训练成功，退出；否则转入4

4. 反向传播计算由输出层，按梯度下降法将误差反向传播，逐层调整权值

BP网络特点：

优点：学习完全自主、可逼近任意非线性函数

缺点：算法非全局收敛、收敛速度慢、学习速率α选择、神经网络设计具有难点