1. 随机梯度下降
缺点是在每次更新回归系数时都要遍历整个数据集,即批处理;
改进办法是一次仅用一个样本点来更新回归系数,随机梯度下降是一个在线学习算法。
2.拟牛顿法
牛顿法是二阶收敛,比梯度下降法快。
拟牛顿法就是Hesse矩阵逆矩阵的近似处理:秩1校正。
参考
缺点是在每次更新回归系数时都要遍历整个数据集,即批处理;
改进办法是一次仅用一个样本点来更新回归系数,随机梯度下降是一个在线学习算法。
牛顿法是二阶收敛,比梯度下降法快。
拟牛顿法就是Hesse矩阵逆矩阵的近似处理:秩1校正。