神经网络与深度学习课程内容（1）

一、线性回归

1、定义：利用数理统计中回归分析，来确定两种或者两种以上变量间相互依赖的定量关系的一种统计方法。

2、线性回归要素：训练集，输出数据，模型。

二、线性二分类问题

1、定义：线性分类器则透过特征的线性组合来做出分类决定，以达到 此种目的。简言之，样本通过直线(或超平面)可分。

2、线性分类与线性回归差别：

（1）输出意义不同：属于某类的概率<->回归具体值

（2）参数意义不同：最佳分类直线<->最佳拟合直线

（3）维度不同：前面的例子中，一个是一维的回归，一个是二维的分类

三、神经元模型

1、Spiking模型和M-P模型

2、作用函数

（1）非对称型Sigmoid函数

（2）对称型Sigmoid函数

（3）对称型阶跃函数

3、hebb规则： 连接权值的调整量与输入与输出的乘积成正比。

四、多层感知机

1、XOR问题

线性不可分问题： 无法进行线性分类。

2、解决方法 ：在输入和输出层加一或多层隐单元，构成多层感知器

 

3、多层感知器网络，有如下定理：

定理1 若隐层节点（单元）可任意设置，用三层阈值节点的网络，可以实现任意的二值逻辑函数。

定理2 若隐层节点（单元）可任意设置，用三层S型非线性特性节点的网络，可以一致逼近紧集上的连续函数或按范数逼近紧集上的平方可积函数。

五、BP算法

BP算法基本思想

① 设置初始权系数为较小的随机非零值；

② 给定输入/输出样本对，计算网络输出, 完成前向传播

③ 计算目标函数。训练成功，退出；否则转入④

④ 反向传播计算 由输出层，按梯度下降法将误差反向传播，逐层调整权值

六、动量法

1、SGD问题：病态曲率

图为损失函数轮廓。在进入以蓝色标记的山沟状区域之前随机开始。颜色实际上表示损失函数在特定点处的值有多大， 红色 表示最大值， 蓝色 表示最小值。我们想要达到最小值点，为此但需要我们穿过山沟。这个区域就是所谓的病态曲率。

 

2、动量法

    如果把原始的 SGD 想象成一个纸团在重力作用向下滚动，由于质量小受到山壁弹力的干扰大，导致来回震荡；或者在鞍点处因为质量小速度很快减为 0，导致无法离开这块平地。

    动量方法相当于把纸团换成了铁球；不容易受到外力的干扰，轨迹更加稳定；同时因为在鞍点处因为惯性的作用，更有可能离开平地。

七、二阶算法：牛顿算法，L-M算法

八、常用技巧

1、模型初始化

2、训练数据与测试数据

3、欠拟合与过拟合

4、权重衰减

5、Dropout