梯度下降法

一、梯度下降的原理

1、确定一个小目标——预测函数

比如拟合房价增长，常识告诉我们是正比例分布的，

我们不如先随便找一条函数，即y=wx；

再计算样本点到函数直线的偏差

2、找到差距——代价函数

量化数据的偏移程度

·均方误差——一元二次函数——抛物线，有最低点

3、明确搜索方向——梯度计算

找到函数的最低点，就是梯度下降要干的活

4、大胆的往前走吗——学习率

通过学习调整权重，就是 新w=旧w-斜率*学习率

5、不达目标不罢休——循环迭代

重复3，4 ，直到找到最低点

二、实际情况

会有局部最优和全局最优

三、各种变体

1、批量梯度下降——准确，慢

2、随机梯度下降——快，准确率不是很好

3、小批量梯度下降——中和

根据【视频】梯度下降是什么鬼？（高中生都看得懂） - 知乎 (zhihu.com)