Stanford机器学习---第十五讲. 大规模机器学习

============Learning With Large Datasets============

1.数据为王


2.当M 很大时,梯度下降每一步的代价都很大。

若为左图,再添加更多数据没问题,但若为右图,则若想添加更多特征,先考虑

增加更多隐含层(神经网络)或增加更多特征,来解决HIGH BIAS问题。


==============Stochastic Gradient Descent=======================

1.BATCH Gradient Descent:每一步遍历所有数据,慢。。

.


2.每次仅FIT一个数据例子,逐次寻优。


3.注意:Stochastic Gradient Descent不一定收敛。但曲折后会渐渐在极小区域。

另REPEAT1-10次即可。  粉  VS   红



=============Mini-Batch Gradient Descent===================

1.


2.具体算法,此方法可VECTORIED 实现(并行实现)


=============Stochastic Gradient Descent Convergence========================

1.

2若每隔1000画出的不够平滑,则每隔5000画。若右下图,则减小学习率。

.


3.则减小学习率的方法


===================Online Learning==================================

1.使用神经或回归都行。


2.产品推荐


================Map Reduce and Data Parallelism============================

1.

2

3.


4.














相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页