============Learning With Large Datasets============
1.数据为王
2.当M 很大时,梯度下降每一步的代价都很大。
若为左图,再添加更多数据没问题,但若为右图,则若想添加更多特征,先考虑
增加更多隐含层(神经网络)或增加更多特征,来解决HIGH BIAS问题。
==============Stochastic Gradient Descent=======================
1.BATCH Gradient Descent:每一步遍历所有数据,慢。。
.
2.每次仅FIT一个数据例子,逐次寻优。
3.注意:Stochastic Gradient Descent不一定收敛。但曲折后会渐渐在极小区域。
另REPEAT1-10次即可。 粉 VS 红
=============Mini-Batch Gradient Descent===================
1.
2.具体算法,此方法可VECTORIED 实现(并行实现)
=============Stochastic Gradient Descent Convergence========================
1.
2若每隔1000画出的不够平滑,则每隔5000画。若右下图,则减小学习率。
.
3.则减小学习率的方法
===================Online Learning==================================
1.使用神经或回归都行。
2.产品推荐
================Map Reduce and Data Parallelism============================
1.
2
3.
4.