神经网络与深度学习课程总结1

（1）线性回归问题：利用数理统计中回归分析，来确定两种或两种以上变量间相 互依赖的定量关系的一种统计分析方法。

学习过程：

步骤：1.选取样本：

          2.构造代价函数：

      3.对代价函数求偏导求极值,求解得到：

其中：

（2）线性分类问题：线性分类器则透过特征的线性组合来做出分类决定，以达到此种目的。简言之，样本通过直线(或超平面)可分。

Sigmoid函数：,其中,该函数的作用是：将分界直线产生的值归一化。

步骤：1.选取样本：

          2.构造代价函数：，其中

          3.梯度下降法求解偏导：,其中

(3)指数回归

指标函数：

梯度：

（4）多分类回归

指标函数：

梯度：

（5）神经元模型

单个神经元模型：,其中

作用函数：

1.非对称型Sigmoid函数

2.对称型Sigmoid函数

3.对称型阶跃函数

Hebb规则：连接权值的调整量与输入量与输出的乘积成正比：

（6）BP算法：

该算法由正向传播和反向传播组成：

1. 正向传播是输入信号从输入层经隐层，传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。

2. 反向传播是将误差(样本输出与网络输出之差）按原联接通路反向计算，由梯度下 降法调整各层节点的权值和阈值，使误差 减小。

基本思想：

选取性能指标：

网络训练的目的，是使对每一个输入样本，调整网络参数，使输出均方误差最小化。

基本步骤：

具体步骤：

假设只有一层隐含层，输入参考信号，前向传播

1.求各神经元输出为：

2.求输出和隐含层之间权值梯度：

3.求隐含层和输入之间权值梯度：