大多数的回归问题,都可以使用最小二乘法来求解参数,而求解参数的过程又通常依赖梯度下降法。不仅是回归问题,很多机器学习都是基于梯度下降来实现参数优化,因此梯度下降可以说是机器学习的核心算法之一。简单地说梯度下降利用导数,通过不断迭代,经过有限次的运算,逐渐逼近最优解。
1. 一元回归与最小二乘
直接看吴恩达老师课程中的例子。现在有一些房价和面积的数据(x,y),想找出他们之间的关系。
我们可以大概画出散点图,通过图形分布,假设他们之间是线性关系。那么这个例子可以抽象为,求一个方程f(x) = k*x+b,使预测值f(x)与真实值y尽量接近。
如何算是接近?我们定义一个新的函数来判断接近程度。这个函数叫做损失函数,用差平方来表示,[f(x)-y]2。它反映了预测值与真实值的偏离程度。差平方和则反映了所有样本的偏离大小。将参数k和b用p取代,假设共有m个样本,那么拟合问题就成了找一组p值,使如下函数值最小。