关于代价函数为凸函数的证明

我没能在网上找到关于多元线性回归代价函数为凸函数的证明，就打算自己写一个，如果有错误之处，希望发现的读者能够在评论中指正，感谢。

首先来一条引理：二阶可微的函数为严格凸函数的充分必要条件为该函数的海塞矩阵为正定矩阵。

写出代价函数
$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
上式中的$\theta$、$x^{(i)}$、$y^{(i)}$均为向量

为方便，我们研究
$$P(\theta )=2mJ(\theta )=\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
我们再将平方项展开
$$P(\theta )=\sum _{i=1}^m\sum _{j=0}^n(x_j^{(i)}{\theta }_j{)}^2+\sum _{i=1}^m\sum _{j<k}2x_j^{(i)}{x}_k^{(i)}{\theta }_j{\theta }_k-\sum _{i=1}^m\sum _{j=0}^{n}2y^{(i)}{x}_j^{(i)}{\theta }_j+\sum _{i=1}^m(y^{(i)}{)}^2$$
上式中m为训练集样本个数，n表示训练样本输入变量有n个分量
简记一下$P(\theta )$
$$P(\theta )=\sum _{i=0}^n\frac{1}{2}{a}_{ii}{\theta }_i^2+\sum _{i<j}{a}_{ij}{\theta }_i{\theta }_j-\sum _{i=1}^m\sum _{j=0}^{n}2y^{(i)}{x}_j^{(i)}{\theta }_j+\sum _{i=1}^m(y^{(i)}{)}^2$$
其中
$$a_{ij}=\sum _{k=1}^{m}2x_i^{(k)}{x}_j^{(k)}$$
写出$P(\theta )$的海塞矩阵$H$
$$\left(\begin{array}{ccccc}{a}_{00}& a_{01}& a_{02}& \cdots & a_{0n}\\ a_{10}& a_{11}& a_{12}& \cdots & a_{1n}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ a_{n0}& a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right)$$
令
$${\theta }^{T}H\theta =\sum _{i=0}^n{a}_{ii}{\theta }_i^2+\sum _{i\ne j}{a}_{ij}{\theta }_i{\theta }_j={\theta }^T(\sum _{i=1}^m{B}_i)\theta$$
上式中$B_i$是
$$\left(\begin{array}{ccccc}2x_0^{(i)}{x}_0^{(i)}& 2x_0^{(i)}{x}_1^{(i)}& 2x_0^{(i)}{x}_2^{(i)}& \cdots & 2x_0^{(i)}{x}_n^{(i)}\\ 2x_1^{(i)}{x}_0^{(i)}& 2x_1^{(i)}{x}_1^{(i)}& 2x_1^{(i)}{x}_2^{(i)}& & 2x_1^{(i)}{x}_n^{(i)}\\ & & & \cdots & \\ ⋮& ⋮& ⋮& & ⋮\\ & & & \ddots & \\ 2x_n^{(i)}{x}_0^{(i)}& 2x_n^{(i)}{x}_1^{(i)}& 2x_n^{(i)}{x}_2^{(i)}& & 2x_n^{(i)}{x}_n^{(i)}\\ & & & \cdots & \end{array}\right)$$
显然$B_i$是一个半正定矩阵，所以
$${\theta }^{T}H\theta ={\theta }^T(\sum _{i=1}^m{B}_i)\theta \ge 0$$
所以$H$也为一个半正定矩阵
然而在实际情况中，等号成立的条件几乎不可能满足，所以我们一般认为$H$为一个正定矩阵。又由开头给出的引理，得到代价函数$J(\theta )$为严格凸函数，故得证。