机器学习之梯度下降训练法

一、梯度下降能实现什么？

找到某个函数的极小值或最小值

二、解决问题的类型

高维，>1000维

纬度低，数据量小的情况下选择最小二乘法

三、找误差函数的最小值

一维情况：导数为0的点为最小值点（凸函数）或极小值点（非凸）
多维情况：就是求偏导数，以向量的形式表示。

策略

导数为负的时候增加自变量
导数为正的时候减小自变量
直到导数接近于0

四、算法实现

初始化：权重w1、w2、…wn；终止距离e；步长a

1、计算当前位置的损失函数的梯度G

2、计算距离=步长a*梯度G

3、判断当前距离是否小于终止距离e

4、不满足3时更新w，直到满足。更新规则：wi=wi-a*梯度

调优

• 步长的选择

• 初始值的选择

• 归一化处理

梯度下降的问题：

1、局部极小值(或鞍点)

梯度下降寻找的是loss function的局部极小值，而我们想要全局最小值。如下图所示，我们希望loss值可以降低到右侧深蓝色的最低点，但loss在下降过程中有可能“卡”在左侧的局部极小值中。也有最新研究表明在高维空间下局部极小值通常很接