线性回归(Linear Regression)

1. 训练样本 (Training Set):

$x_1\dots x_n,\ y$

---

2. 回归函数：

$$h_\theta(\vec x)=\theta_0+\theta_1x_1+\cdots+\theta_jx_j+\cdots+\theta_nx_n$$
$使\ \vec \theta=\begin{bmatrix}\theta_0\\\vdots\\\theta_n\end{bmatrix},\ \vec x=\begin{bmatrix}x_0\\\vdots\\x_n\end{bmatrix}\ (x_0=1),\\则\ h_\theta(\vec x)=\vec x^T\times\vec \theta$

---

3. Cost函数:

$$J(\vec \theta)=\frac{1}{2m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2$$
进行正则化后，则为：
$$J(\vec \theta)=\frac{1}{2m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2+\lambda\ \sum_{j=1}^n \theta_j^2$$

找到 $\vec \theta$ 使 $J(\vec \theta)$ 值最小，以使 $h_\theta(\vec x)$ 最接近 $y$的两种方法:

1. 梯度下降法 (Gradient Descent):

$\text{Repeat}\{\\\quad\theta_j:=\theta_j-\alpha\frac{\partial J(\theta)}{\partial \theta_j}\\\quad=\theta_j-\alpha\frac{1}{m}\sum_{i=1}^m[(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}]\\\}$

若进行了正则化，则为：

$\begin{align*} & \text{Repeat}\ \lbrace \newline & \ \ \ \ \theta_0 := \theta_0 - \alpha\ \frac{1}{m}\ \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})x_0^{(i)} \newline & \ \ \ \ \theta_j := \theta_j - \alpha\ \left[ \left( \frac{1}{m}\ \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})x_j^{(i)} \right) + \frac{\lambda}{m}\theta_j \right] &\ \ \ \ \ \ \ \ \ \ j \in \lbrace 1,2...n\rbrace\newline & \rbrace \end{align*}$

2.Normal Equation:

$\vec \theta=(X^TX)^{-1}X^T\vec y$

正则化，则：

$\begin{align*}& \theta = \left( X^TX + \lambda \cdot L \right)^{-1} X^Ty \newline& \text{where}\ \ L = \begin{bmatrix} 0 & & & & \newline & 1 & & & \newline & & 1 & & \newline & & & \ddots & \newline & & & & 1 \newline\end{bmatrix}\end{align*}$