机器学习（二）

线性回归问题

怎么找到合适的模型

找到一条最合适的能够拟合数据的线，即一个线性或非线性方程，求出其参数，模型即可知。接下来的问题是，如何求这个参数？
随意给定几个参数，得到的模型跟最佳模型肯定有一定的误差，据此，我们可以定义一个代价函数，使这个代价函数最小，模型也就是最合适的一个。要想找到合适的参数，可以使用梯度下降法

梯度下降法

梯度下降法的权值要同时进行更新
梯度下降法，随着逐渐靠近局部最优点，梯度越来越小，因而步长越来越小，所以没有必要再减小学习率。