【机器学习】正规方程的推导

myqueen_way

已于 2024-04-06 15:45:11 修改

阅读量663

点赞数 24

分类专栏：人工智能学习文章标签：机器学习算法人工智能

于 2024-04-06 15:44:25 首次发布

本文链接：https://blog.csdn.net/myqueen_way/article/details/137428060

版权

人工智能学习专栏收录该内容

5 篇文章 0 订阅

订阅专栏

正规方程的推导

文章目录

正规方程的推导
前言
一、矩阵转置公式与求导公式
- 1.转置公式如下：
- 2.求导公式如下：
二、推导正规方程 $\theta$ 的解
三、凸函数的判定

前言

本文主要介绍正规方程的数学推导，也回顾一些基本的线性代数的一些知识，便于自身查阅。

一、矩阵转置公式与求导公式

1.转置公式如下：

$m A)^T = mA^T$ ,其中m是常数
$A + B)^T = A^T + B^T$
$AB)^T = B^TA^T$
$A^T)^T = A$

2.求导公式如下：

$\frac{\partial{X^T}}{\partial X} = I$ 求解出来是单位矩阵
$\frac{\partial{X^TA}}{\partial X} = A$
$\frac{\partial{AX^T}}{\partial X} = A$
$\frac{\partial{AX}}{\partial X} = A^T$
$\frac{\partial{XA}}{\partial X} = A^T$
$\frac{\partial{X^TAX}{\partial X}} = (A + A^T)X$ ;A不是对称矩阵
$\frac{\partial{X^TAX}}{\partial X} = 2AX$ ；A是对称矩阵

二、推导正规方程 $\theta$ 的解

1.矩阵乘法展开

$J(\theta) = \frac{1}{2}\sum_{i = 0}^{n}(h_\theta(x_i) - y)(h_\theta(x_i) - y)$
$J(\theta) = \frac{1}{2}(X\theta -y )(X\theta - y)$
$J(\theta) = \frac12(X\theta -y )^T(X\theta - y)$
$J(\theta) = \frac{1}{2}(\theta ^ TX^T - y^T)(X\theta - y)$
$J(\theta) = \frac{1}{2}(\theta^TX^T X\theta - \theta^TX^Ty - y^TX\theta + y^Ty)$

2.进行求导(左右对 $\theta$ 进行求导)

$J'(\theta) = \frac{1}{2}(\theta^TX^T X\theta - \theta^TX^Ty - y^TX\theta + y^Ty)'$
$J'(\theta) = \frac{1}{2}(X^TX\theta + (\theta ^ TX ^ T X)^T - X ^ T y - (y^T X)^T)$
$J'(\theta) = \frac{1}{2}(X^T X \theta + X^TX\theta - X^Ty - X^Ty)$
$J'(\theta) = \frac{1}{2}(2X^TX\theta - 2X^Ty)$
$J'(\theta) = X^TX\theta - X^Ty$
$J'(\theta) = X^T(X\theta - y)$

3.令 $J'(\theta) = 0$ ,即取得极值的时候

$X^TX\theta - X^Ty$
$X^TX\theta = X^Ty$
$\theta = (X^TX)^{-1}X^Ty$

三、凸函数的判定

判定损失函数是凸函数的好处在于我们可以很肯定的知道我们求得的极值就是最优解，一定是全局最优解
对于正规方程在导函数的基础上再次对 $\theta$ 来求偏导，结果就是 $X^TX$ 如下所示：
$J'(\theta) = X^TX\theta - X^Ty$
$J''(\theta) = X^TX$
如何判定凸函数，一般采用黑塞矩阵，是由目标函数在点X处的二阶偏导数组成的对称矩阵是否是半正定的
这里又涉及到正定和半正定的概念：