机器学习：最小二乘法、梯度下降法

最小化损失函数的优化方法

一、最小二乘法

对损失函数求导，使导数为0

二、梯度下降法

• 步长/学习率很重要，太小速度慢，太大不收敛
• 对数据先进行归一化，能够提高梯度下降的执行速度
• 通过误差调整权重的方法：样本数量和迭代次数

1.批量梯度下降法BGD
（1）使用全部数据
（2）梯度就是导数

（3）梯度更新，就是在原有形式上变化一个梯度的值。其中j表示第几次迭代，α是学习速率

（4）优点：当损失函数是凸函数时，可达到全局最优
（5）缺点：速度慢

2.随机梯度下降法SGD
（1）每次迭代使用一个样本进行更新
（2）求导

（3）梯度更新

（4）优点：速度快
（5）缺点：局部最优，准确性下降
（6）刚开始学习率大，之后学习率减小

3.小批量梯度下降
（1）每次迭代使用batch_size个样本进行梯度更新
（2）优点：迭代次数降低，准确性比SGD高
（3）缺点：batch_size值的选择
（4）适量增大batch_size值：内存的利用率提高；迭代次数减少；梯度下降方向越准