神经网络与深度学习

# 1 线性回归与线性分类

## 1.1线性回归

线性回归的定义为：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

其学习过程如下图所示：

        

## 1.2 线性分类

线性分类的定义为：线性分类通过线性分类器进行，线性分类器则通过特征的线性组合来做出分类决定，将样本进行分类，以达到某种目的。简言之，样本通过直线（或超平面）可分。其示意图如下。

线性分类器则透过特征的线性组合来做出分类决定，以达到 此种目的。简言之，样本通过直线(或超平面)可分

# 2 感知机模型

## 2.1 感知机模型

由于存在线性不可分问题，如XOR问题，如下图所示

因此我们考虑使用多层感知机去解决这样一个问题

1. 在输入和输出层间加一或多层隐单元，构成多层感知器（多层 前馈神经网络）
2. 加一层隐节点（单元）为三层网络，可解决异或（XOR）问题 由输入得到两个隐节点、一个输出层节点的输出：

多层感知机是一种多层前馈网络，由多层神经网络构成，每层网络将 输出传递给下一层网络。神经元间的权值连接仅出现在相邻层之间， 不出现在其他位置。如果每一个神经元都连接到上一层的所有神经元 （除输入层外），则成为全连接网络

## 2.2 BP算法

多层前馈网络的反向传播（BP）学习算法，简称BP算法，是有导 师的学习，它是梯度下降法在多层前馈网中的应用，其结构如下图所示:

BP算法的基本计算过程为：

1. 设置初始权系数w0为较小的随机非零值；
2. 给定输入/输出样本对计算网络进行输出，完成前向传播;
3. 计算目标函数J。若J小于预期误差，则训练成功，退出；否则进行第4步；
4. 反向传播计算。由输出层按梯度下降法将误差反向传播，逐层调整权值。

但BP算法仍具有算法非全局收敛、收敛速度慢等缺点。

## 2.3 性能优化

BP算法使用数据包括训练数据、验证数据及测试数据，通常三者比例为70%、15%、15%或60%、20%、20%，当数据很多时，训练和验证数据可以适当减少。

可通过模型初始化、K折交叉验证、L2正则化、暂退等技巧对BP算法进行训练使用。

BP算法在使用过程中，会出现病态曲率的问题，如下图所示。

图为损失函数轮廓。在进入以蓝色 标记的山沟状区域之前随机开始。 颜色实际上表示损失函数在特定点 处的值有多大，红色表示最大值， 蓝色表示最小值。我们想要达到最 小值点，为此但需要我们穿过山沟 。这个区域就是所谓的病态曲率，因此我们需要性能优化

## 1 动量法

其更新公式为：

具体算法为：

## 2 自适应梯度算法

参数自适应变化：具有较大偏导的参数相应有一个较大的学习 率，而具有小偏导的参数则对应一个较小的学习率，具体来说，每个参数的学习率会缩放各参数反比于其历史梯度 平方值总和的平方根，其算法如下：

其问题是学习率是单调递减的，训练后期学习率过小会导致训练困难， 甚至提前结束，需要设置一个全局的初始学习率