线性回归问题解的唯一性

线性回归问题在Andrew Ng的视频教学《机器学习》的第二章中有提到，可以用梯度下降的方法来解决其中的参数估计问题。Ng指出梯度下降法在线性回归问题中必然全局收敛，因为这个问题只有一个极值点。这也就意味着线性回归问题的解是唯一的。
我们现在要证明这个解的唯一性。在证明唯一性之前，先求解线性回归问题。

定义1：观察数据 X 。
样本数据由一个 m×(n+1) 的矩阵 X 表达，其中 m 是样本数， n 是样本的特征的数量。

X=⎡⎣⎢⎢x10⋮xm0⋯⋱⋯x1n⋮xmn⎤⎦⎥⎥(1)

为了表示每一个样本，我们引入每个样本的列向量标记 x(1),⋯,x(m) ，其中 x(i)=(xi0,xi1,⋯,xin)T 。需要说明的是：第0维为 xi0=1 ,其余都是观察数据。
定义2：目标值 y 。
m 个样本的目标值分别为 y(1),⋯,y(m) ,用列向量表示:

y=⎡⎣⎢⎢⎢y(1)⋮y(m)⎤⎦⎥⎥⎥(2)

定义3：线性回归模型 hθ(x) ，用于预测给定输入后得到的输出。
我们定义线性回归模型如下：

hθ(x