本文详细证明了在多元线性回归中，当代价函数为二阶可微时，其海塞矩阵为正定矩阵，从而得出代价函数是严格凸函数的结论。通过对代价函数的展开和分析，展示了海塞矩阵半正定的特性，并指出在实际情况下，该矩阵通常为正定，符合严格凸函数的定义。
我没能在网上找到关于多元线性回归代价函数为凸函数的证明，就打算自己写一个，如果有错误之处，希望发现的读者能够在评论中指正，感谢。
首先来一条引理：二阶可微的函数为严格凸函数的充分必要条件为该函数的海塞矩阵为正定矩阵。
写出代价函数
J ( θ ) = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 J(\theta)=\frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2 J(θ)=2m1i=1∑m(hθ(x(i))−y(i))2
上式中的 θ \theta θ、 x ( i ) x^{(i)} x(i)、 y ( i ) y^{(i)} y(i)均为向量
为方便，我们研究
P ( θ ) = 2 m J ( θ ) = ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 P(\theta)=2mJ(\theta)=\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2 P(θ)=2mJ(θ)=i=1∑m(hθ(x(i))−y(i))2
我们再将平方项展开
P ( θ ) = ∑ i = 1 m ∑ j = 0 n ( x j ( i ) θ j ) 2 + ∑ i = 1 m ∑ j < k 2 x j ( i ) x k ( i ) θ j θ k − ∑ i = 1 m ∑ j = 0 n 2 y ( i ) x j ( i ) θ j + ∑ i = 1 m ( y ( i ) ) 2 P(\theta)=\sum_{i=1}^{m}\sum_{j=0}^{n}(x_j^{(i)}\theta_j)^2+\sum_{i=1}^{m}\sum_{j<k}2x_j^{(i)}x_k^{(i)}\theta_j\theta_k-\sum_{i=1}^{m}\sum_{j=0}^{n}2y^{(i)}x_j^{(i)}\theta_j+\sum_{i=1}^m(y^{(i)})^2 P(θ)=i=1∑mj=0∑n(xj(i)θj)2+i=1∑mj<k∑2xj(i)xk
最低0.47元/天 解锁文章
扫一扫
9104
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
