正规方程推导（Normal equation）

微积分差不多都还回去了

1. 法一：
   $m为样例数目，\theta 为列向量$
   $$h_{\theta }(x)={\theta }_0+{\theta }_{1}x+...{\theta }_{n}x，J({\theta }_0,{\theta }_1...+{\theta }_n)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x{)}^{(i)}-y^{(i)}{)}^2$$$$\frac{\delta }{\delta {\theta }_j}J({\theta }_0,{\theta }_1+...{\theta }_n)=\frac{1}{m}\sum _{i=1}^m(h_{\theta }^{(i)}(x)-y^{(i)})x_j^{(i)}（j=0，1，...n）$$$$其中任意偏导数可表示为\frac{1}{m}\sum _{i=1}^m(h_{\theta }^{(i)}(x)y^{(i)})x_j^{(i)}=x_j^T(X\theta -y)$$$$（x_j为相应列向量）然后让全部偏导数为0，综合可得到：$$$$X^T\ast (X\theta -y)=0$$$$X^{T}X\theta =X^{T}y$$$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$

2. 法二： normal equation 推导思路
   $先推导，用例数目m=2时，X=\left[\begin{array}{cc}1& x_1^1\\ 1& x_1^2\end{array}\right],Y=\left[\begin{array}{c}{y}_1^1\\ y_1^2\end{array}\right],\theta =\left[\begin{array}{c}{\theta }_1^1\\ {\theta }_1^2\end{array}\right]$
   $$h_{\theta }(x)={\theta }_0+{\theta }_{1}x,J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }^{(i)}(x)-y^{(i)}{)}^2$$$将X,Y,\theta 代入J({\theta }_0,{\theta }_1)然后对{\theta }_0,{\theta }_1分别求偏导数，让$ $$\frac{\delta }{\delta {\theta }_j}J({\theta }_0,{\theta }_1)=0（j=0，1）$$
   $再对两个等式相加，经过整理就会发现，X^{T}X\theta =X^{T}y-->\theta =（X^{T}X{)}^{-1}{X}^{T}y$
   $可想而知，经过推广，m=n时，也可以得出X^{T}X\theta =X^{T}y-->\theta =（X^{T}X{)}^{-1}{X}^{T}y$

3. normal equation vs gradient descent
   正规方程：一步到位，算法复杂度为 $O(n^3)$ ，所以特征维度<10000时，使用normal equation。
   梯度下降： 选择 $\alpha$ 并调试它(很耗时间）,多次迭代(很耗时间)，特征参数很大时也ok。