机器学习（一）线性回归

线性回归

监督学习

• Features : input variables,x;
• Target : output vaiable,y;
• Training example:( $x^{(i)},y^{(i)}$), i = 1,2,3,…,m
• Hypothesis: h :x $\to$y

linear regression

• Linear hypothesis :$h(x)={\theta }_{1}x+{\theta }_0$
• ${\theta }_i$ :要估计的参数

如何去选择 ${\theta }_i$?

给定data $x\in {\mathbb{R}}^n$，有$\theta \in {\mathbb{R}}^{n+1}$
那么 $h_{\theta }(x)={\sum }_{i=0}^n{\theta }_i{x}_i={\theta }^{T}x$,在这里定义$x_0=1$(为x添加一维)

如何去选择最好的 $\theta$ ?

定义损失函数(cost function)：
$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
也就是估计值于样本差值平方和

目标：
$$minJ(\theta )=\frac{1}{2}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$

梯度

变化最快的方向

• 梯度垂直于等值线
• 梯度的模，代表变化的快慢
• 梯度的方向指向增长的方向

梯度下降法

$J(\theta )的值随\theta 的变化而改变，沿着j(\theta )梯度相反的方向，能最快的下降，达到收敛值（j(\theta )值最小$
\rule[-5pt]{14.3cm}{0.1em}
$\mathbf{A}\mathbf{l}\mathbf{g}\mathbf{o}\mathbf{r}\mathbf{i}\mathbf{t}\mathbf{h}\mathbf{m}1$ Gradient Descent
\rule[-5pt]{14.3cm}{0.05em}
1:$\mathbf{G}\mathbf{i}\mathbf{v}\mathbf{e}\mathbf{n}$ a starting point $\theta \in \mathbf{d}\mathbf{o}\mathbf{m}J$
2:$\mathbf{r}\mathbf{e}\mathbf{p}\mathbf{e}\mathbf{a}\mathbf{t}$
3: Calculate gradient $▽J(\theta );$
4: Update $\theta \leftarrow \theta -\alpha ▽J(\theta );$
5: $\mathbf{u}\mathbf{n}\mathbf{t}\mathbf{i}\mathbf{l}$ convergence criterion is satisfied
\rule[-5pt]{14.3cm}{0.05em}

• $\theta 可以被随机初始化$
• $\alpha 被称为学习速率$

如何更新$\theta$

$${\theta }_j\leftarrow {\theta }_j-\alpha \frac{\partial J(\theta )}{\partial {\theta }_j},\forall j=0,1,...,n$$
$$\frac{\partial J(\theta )}{\partial {\theta }_j}=\frac{\partial }{{\partial }_j}\frac{1}{2}\sum _{i=1}^m({\theta }^T{x}^{(i)}-y^{(i)}{)}^2$$
$$=\frac{\partial }{{\partial }_j}\frac{1}{2}\sum _{i=1}^m(\sum _{j=0}^n{\theta }_j{x}_j^{(i)}-y^{(i)}{)}^2$$
$$=\sum _{i=1}^m(\sum _{j=0}^n{\theta }_j{x}_j^{(i)}-y^{(i)})x_j^{(i)}$$
$$=\sum _{i=1}^m({\theta }^T{x}^{(i)}-y^{(i)})x_j^{(i)}$$

• 注:有时候用的是${\theta }_j\leftarrow {\theta }_j-\frac{\alpha }{m}\frac{\partial J(\theta )}{\partial {\theta }_j},\forall j=0,1,...,n$，多一个m，避免了因为数据集太大，导致数值过大的情况

随机梯度下降法 SGD

如若数据集过大，在每一次迭代中，对所有的数据集进行运算，会导致开销过大
使用随机梯度下降，用于解决数据集过大的情况
在每一次迭代的过程中，随机选择一个数据样本进行计算并更新参数
\rule[-5pt]{14.3cm}{0.1em}
$\mathbf{A}\mathbf{l}\mathbf{g}\mathbf{o}\mathbf{r}\mathbf{i}\mathbf{t}\mathbf{h}\mathbf{m}2$ Stochastic Gradient Descent for Linear Regression
\rule[-5pt]{14.3cm}{0.05em}
1:$\mathbf{G}\mathbf{i}\mathbf{v}\mathbf{e}\mathbf{n}$ a starting point $\theta \in \mathbf{d}\mathbf{o}\mathbf{m}J$
2:$\mathbf{r}\mathbf{e}\mathbf{p}\mathbf{e}\mathbf{a}\mathbf{t}$
3: Randomly shuffle the training data;
4: for i =1,2,…,m do
5: $\theta \leftarrow \theta -\alpha ▽J(\theta ;x^{(i)},y^{(i)});$
6: end for
7: $\mathbf{u}\mathbf{n}\mathbf{t}\mathbf{i}\mathbf{l}$ convergence criterion is satisfied
\rule[-5pt]{14.3cm}{0.05em}

函数对向量、矩阵的梯度（向量、矩阵求导）

给出定义，若函数 $f:r^{m\times n}\to \mathbb{R}$,则$\frac{\partial f}{\partial X}也是一个m\times n矩阵$：
$$(\frac{\partial f}{\partial X}{)}_{ij}=\frac{\partial f}{\partial x_{ij}}$$
表示实值函数对矩阵的梯度，记作 ${▽}_{x}f$

矩阵化计算

$$X=\left[\begin{array}{c}(x^{(1)}{)}^T\\ ⋮\\ (x^{(m)}{)}^T\end{array}\right]Y=\left[\begin{array}{c}(y^{(1)}{)}^T\\ ⋮\\ (y^{(m)}{)}^T\end{array}\right]$$
$$X\theta -Y=\left[\begin{array}{c}(x^{(1)}{)}^T\theta \\ ⋮\\ (x^{(m)}{)}^T\theta \end{array}\right]-\left[\begin{array}{c}(y^{(1)}{)}^T\\ ⋮\\ (y^{(m)}{)}^T\end{array}\right]=\left[\begin{array}{c}{h}_{\theta }(x^{(1)}{)}^T-y^{(1)}\\ ⋮\\ h_{\theta }(x^{(m)}{)}^T-y^{(m)}\end{array}\right]$$
$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2=\frac{1}{2}(X\theta -Y{)}^T(X\theta -Y)$$
求解${▽}_{\theta }J(\theta )$的矩阵化计算推导
$$\begin{gathered} {▽}_{\theta }J(\theta )={▽}_{\theta }\frac{1}{2}(X\theta -Y{)}^T(X\theta -Y) \\ =\frac{1}{2}{▽}_{\theta }({\theta }^T{X}^T-Y^T)(X\theta -Y) \\ =\frac{1}{2}{▽}_{\theta }tr({\theta }^T{X}^{T}X\theta -Y^{T}X\theta -{\theta }^T{X}^{T}Y+Y^{T}Y) \\ (注:这里取迹不影响结果因为这个矩阵运算完本来就是一个常数， \\ 但是会方便我们求导我们求导: \\ {▽}_{A^T}trAB{A}^{T}C=B^T{A}^T{C}^T+B{A}^{T}C) \\ =\frac{1}{2}{▽}_{\theta }tr({\theta }^T{X}^{T}X\theta )-X^{T}Y \\ =\frac{1}{2}(X^{T}X\theta +X^{T}X\theta )-{\theta }^{T}Y \\ =X^{T}X\theta -X^{T}Y \end{gathered}$$
$当且仅当A的列向量线性无关，A^{T}A可逆，{▽}_{\theta }J(\theta )=0的解为：$
$$\theta =(X^{T}X{)}^{-1}{X}^{T}Y$$
但我认为因为有些时候可能这个解不太好解，所以需要我们的梯度下降法，一步步逼近最优解

线性回归与极大似然估计的关系

目标变量和输入的关系
$$y={\theta }^{T}x+ϵ$$
$ϵ$表示误差，是独立同分布的，并且服从于高斯分布$N(0,{\sigma }^2)$,也就是说，实际的值y和我们计算出来的${\theta }^{T}x$之间是存在误差的，我们假设这个误差是服从一个高斯分布的。
概率密度函数：
$$f(ϵ)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{{ϵ}^2}{2{\sigma }^2})$$
所以y的条件概率密度函数服从
$$y|x;\theta \sim N({\theta }^{T}x,{\sigma }^2)$$
归于给定的训练集 d a t a { x ( i ) , y ( i ) } data\{x^{(i)},y^{(i)}\} data{x(i),y(i)}
$$p(y=y^{(i)}|x=x^{(i)};\theta )=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$$

我们要使得我们估计出来的结果，等于实际值的可能性更大，就可以列出如下的极大似然函数：
$$\begin{gathered} L(\theta )=\prod _{i}p(y^{(i)}|x^{(i)};\theta ) \\ =\prod _i\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2}) \end{gathered}$$
进行取对数
$$\begin{gathered} l(\theta )=logL(\theta ) \\ =m\log \frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{2{\sigma }^2}\sum _i(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2 \end{gathered}$$
那么也就是说，我们要使得$L(\theta )$更大，就要使得下式更小：
$$\frac{1}{2}\sum _i(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$$
那么就说明，我们设$J(\theta )=\frac{1}{2}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2=\frac{1}{2}(X\theta -Y{)}^T(X\theta -Y)$，去求插值的平方和，而不是4次方或6次方和，是合理的。