线性回归问题在Andrew Ng的视频教学《机器学习》的第二章中有提到,可以用梯度下降的方法来解决其中的参数估计问题。Ng指出梯度下降法在线性回归问题中必然全局收敛,因为这个问题只有一个极值点。这也就意味着线性回归问题的解是唯一的。
我们现在要证明这个解的唯一性。在证明唯一性之前,先求解线性回归问题。
定义1:观察数据 X 。
样本数据由一个 m×(n+1) 的矩阵 X 表达,其中 m 是样本数, n 是样本的特征的数量。
X=⎡⎣⎢⎢x10⋮xm0⋯⋱⋯x1n⋮xmn⎤⎦⎥⎥(1)
为了表示每一个样本,我们引入每个样本的列向量标记 x(1),⋯,x(m) ,其中 x(i)=(xi0,xi1,⋯,xin)T 。需要说明的是:第0维为 xi0=1 ,其余都是观察数据。
定义2:目标值 y 。
m 个样本的目标值分别为 y(1),⋯,y(m) ,用列向量表示:
y=⎡⎣⎢⎢⎢y(1)⋮y(m)⎤⎦⎥⎥⎥(2)
定义3:线性回归模型 hθ(x) ,用于预测给定输入后得到的输出。
我们定义线性回归模型如下:
hθ(x