machine learning 第十周 总结笔记

大规模数据的机器学习

• stochastic gradient descent（随机梯度下降）vs batch gradient descent（批梯度下降）

       

   注意算法开始要打乱数据的顺序。注意下降的图。

• Mini-batch gradient descent

      分成好几份进行gradient descent

• 如何进行convergence 的验证

      成本函数和迭代次数的函数图像

• online learning

       应用场景：网络上用户在手机电商搜索产品，如何弹出最可能令他感兴趣的几个手机.

       好处：不用存储数据，因为网络的数据流量很大，随用随弃

• map -reduce （映射约减）

       多核或者多计算机；能否利用map-reduce的关键是数据处理能否表示成和的形式。