判断是否需要大数据集,像图中右边明显是高偏差问题,此时单纯的增加数据集的大小是没有什么特别好的作用的。
随机梯度下降
为了减少计算量
原始的batch 梯度下降
SGD将每次的梯度下降运行只放在一个样本上。之前要做数据的打乱工作,所以在训练过程中,是有一定的噪音的,因为每个样本对梯度的影响情况也是不同的。
Mini-batch 梯度下降
介于SGD和梯度下降之间的一种方法。
SGD的收敛
可以通过不断减小学习率,加速Thera的收敛。
online learning
在线学习,在线更改数据集等手段,实现动态预估
map-reduce和数据并行
四台不同机器运作后,通过中央处理器汇总计算结果,加速运算,运算效率提高到4倍(不到,因为传输到中心处理器的时间问题)
这种方式一般用来处理可以加和的计算。或者通过下面这种方式,效率会增大到4倍。