可继续深究的小问题

2015-4-15 原文地址：http://blog.csdn.net/viewcode/article/details/8794401

本内容只是自己学习转载用，原创者为以上博客。

1 梯度下降法

分别有梯度下降法，批梯度下降法，增量梯度下降。本质上，都是偏导数，步长/最佳学习率，更新，收敛的问题。这个算法只是最优化原理中的一个普通的方法，可以结合最优化原理来学，就容易理解了

2

一篇文章（附录）的图示，理解合适拟合，欠拟合，过拟合很不错：

 欠拟合：

合适的拟合

过拟合

过拟合的问题如何解决？

问题起源？模型太复杂，参数过多，特征数目过多。

方法： 1） 减少特征的数量，有人工选择，或者采用模型选择算法

http://www.cnblogs.com/heaad/archive/2011/01/02/1924088.html （特征选择算法的综述）

     2） 正则化，即保留所有特征，但降低参数的值的影响。正则化的优点是，特征很多时，每个特征都会有一个合适的影响因子