ML笔记——正规方程

目录

---

想法

对于一个连续的函数，比如：$y=ax^2+bx+c$的极值点可以通过求导来确定。
对于$y' = 2ax + b$，当$y' = 0$时，有$x = -\frac{b}{2a}$，此时取得极值。

数学表示

对于代价函数 $J(\theta) = \frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^i)-y^i)^2,\ \theta\in\mathbb{R}^{n + 1}$
令每一个 $\theta_j$, $\frac{\partial}{\partial \theta_j}J(\theta) = 0$
解得 $\theta = (X^TX)^{-1}X^TY$

胡思乱想时刻

1. 这个“解得”莫名的离奇有木有？

   首先，重新考虑一下，假设函数$h_\theta(x) = \sum_{k = 0}^n \theta_k x_k$
   将其表示成向量的形式就是
   $h_\theta(x) = \theta^T X$，其中的$\theta = \left[ \begin{array}{11} \theta_0 \\ \theta_1 \\ \vdots \\ \theta_n \end{array} \right],\ X= \left[ \begin{array}{11} x_0 \\ x_1 \\ \vdots \\ x_n \end{array} \right]$
   当考虑有$m$个训练数据时，
   $X = \left[ \begin{array}{11} x^1_0 & x^1_1 & \ldots &x^1_n \\ x^2_0 & x^2_1 & \ldots & x^2_n\\ \vdots & \vdots & \ddots & \vdots \\ x^m_0 & x^m_1 & \ldots & x^m_n\end{array} \right], \ Y = \left[ \begin{array}{11} y^1 \\ y^2 \\ \vdots \\ y^m \end{array} \right]$
   则$h_\theta(x) - y$可表示为:
   $h_\theta(x) - y \\ = \left[ \begin{array}{11} h_\theta(x^1)-y^1 \\ h_\theta(x^2)-y^2 \\ \vdots \\ h_\theta(x^m)-y^m \end{array} \right] \\ = \left[ \begin{array}{11} \theta_0x^1_0+\theta_1x^1_1+...+\theta_nx^1_n-y^1 \\ \theta_0x^2_0+\theta_1x^2_1+...+\theta_nx^2_n-y^2 \\ \ldots \\ \theta_0x^m_0+\theta_1x^m_1+...+\theta_nx^m_n-y^m \end{array} \right] \\ = \left[ \begin{array}{11} x^1_0 & x^1_1 & \ldots &x^1_n \\ x^2_0 & x^2_1 & \ldots & x^2_n\\ \vdots & \vdots & \ddots & \vdots \\ x^m_0 & x^m_1 & \ldots & x^m_n\end{array} \right] \left[ \begin{array}{11} \theta_0 \\ \theta_1 \\ \vdots \\ \theta_n \end{array} \right] - \left[ \begin{array}{11} y^1 \\ y^2 \\ \vdots \\ y^m \end{array} \right] \\ = X \theta - Y \\$
   之后，对于每个$j$，$\frac{\partial}{\partial \theta_j}J(\theta) = 0$可以写成
   $\frac {1}{m}\sum_{i=1}^{m}(\theta_0x^i_0+\theta_1x^i_1+...+\theta_nx^i_n-y^i)x^i_j \\ = \frac {1}{m}\sum_{i=1}^{m}x^i_j(h_\theta(x^i) - y^i) \\ = 0$
   展开写成方程组的形式
   $\left\{ \begin{array}{11} \frac {1}{m}[x_0^1(h_\theta(x^1)-y^1) +x_0^2(h_\theta(x^2)-y^2) + ... + x_0^m(h_\theta(x^m)-y^m)]= 0 \\ \frac {1}{m}[x_1^1(h_\theta(x^1)-y^1) +x_1^2(h_\theta(x^2)-y^2) + ... + x_1^m(h_\theta(x^m)-y^m)]= 0 \\ \vdots \\ \frac {1}{m}[x_n^1(h_\theta(x^1)-y^1) +x_n^2(h_\theta(x^2)-y^2) + ... + x_n^m(h_\theta(x^m)-y^m)]= 0 \\\end{array} \right.$
   将上述方程在转化为向量的形式
   $\frac {1}{m} \left[ \begin{array}{11} x^1_0 & x^2_0 & \ldots &x^m_0 \\ x^1_1 & x^2_1 & \ldots & x^m_1\\ \vdots & \vdots & \ddots & \vdots \\ x^1_n & x^2_n & \ldots & x^m_n\end{array} \right] \left[ \begin{array}{11} h_\theta(x^1)-y^1 \\ h_\theta(x^2)-y^2 \\ \ldots \\ h_\theta(x^m)-y^m \end{array} \right] = \vec 0$
   用向量$\theta,\ X, \ Y$表示得
   $\frac {1}{m} X^T(X\theta - Y)= \vec 0$
   解得$\theta = (X^TX)^{-1}X^TY$
   注：斯坦福机器学习中有关于正规方程的推导，推导过程涉及一些向量的定理；此外，网上也有较多的正规方程的推导过程，比如这个知乎专栏。还有就是要注意矩阵是否可逆，当数据选取不恰当时，引起矩阵中裂向量线性相关，导致矩阵不可逆；当所选数据量小于参数的个数时，方程无解，也会导致矩阵不可逆。

2. 计算机语言能进行向量操作么？

   python中有导入numpy之后，可以进行矩阵操作，就像这样。
   至于C++，好像有这个。