机器学习第十二篇-大数据计算

随机梯度下降算法：

当训练集m很大的时候，批量梯度下降算法的对代价函数的微分求解迭代计算量会很大。

步骤：

mini-batch 梯度下降算法：

 

 

随机梯度下降算法的下降收敛：

如果代价函数图像的噪声过大，那么可以增加求均值的样本数量，曲线不断上升，则减小学习速率的值。

学习速率可以保持一个常数，也可以用含有迭代次数的表达式。

在线学习：

根据用户喜好，不断调节用户行为。

MapReduce：

将任务分多台机器并行计算