随机梯度下降算法:
当训练集m很大的时候,批量梯度下降算法的对代价函数的微分求解迭代计算量会很大。
步骤:
mini-batch 梯度下降算法:
随机梯度下降算法的下降收敛:
如果代价函数图像的噪声过大,那么可以增加求均值的样本数量,曲线不断上升,则减小学习速率的值。
学习速率可以保持一个常数,也可以用含有迭代次数的表达式。
在线学习:
根据用户喜好,不断调节用户行为。
MapReduce:
将任务分多台机器并行计算
随机梯度下降算法:
当训练集m很大的时候,批量梯度下降算法的对代价函数的微分求解迭代计算量会很大。
步骤:
mini-batch 梯度下降算法:
随机梯度下降算法的下降收敛:
如果代价函数图像的噪声过大,那么可以增加求均值的样本数量,曲线不断上升,则减小学习速率的值。
学习速率可以保持一个常数,也可以用含有迭代次数的表达式。
在线学习:
根据用户喜好,不断调节用户行为。
MapReduce:
将任务分多台机器并行计算