机器学习——线性回归

线性回归

假设数据集为：
D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } D = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} D={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}
后面我们记：
$$X=(x_1,x_2,...,x_N{)}^T,Y=(y_1,y_2,...,y_N{)}^T$$
线性回归假设：
$$f(w)=w^{T}x$$

最小二乘法

对这个问题，采用二范数定义的平方误差来定义损失函数：
$$L(w)={\sum }_{i=1}^N||w^T{x}_i-y_i|{|}_2^2$$
展开得到：
$$\begin{gathered} L(w)=(w^T{x}_1-y_1,...,w^T{x}_N-y_N).(w^T{x}_1-y_1,...,w^T{x}_N-y_N{)}^T \\ =(w^T{X}^T-Y^T).(Xw-Y) \\ =w^T{X}^{T}Xw-Y^{T}Xw-w^T{X}^{T}Y+Y^{T}Y \\ =w \end{gathered}$$
最小化这个值的$\hat{w}$:
$$\begin{gathered} \hat{w}=argmi{n}_{w}L(w) \\ ⟶\frac{\partial }{\partial w}L(w)=0 \\ ⟶2X^{T}X\hat{w}-2X^{T}Y=0 \\ ⟶\hat{w}=(X^{T}X{)}^{-1}{X}^{T}Y=X^{+}Y \end{gathered}$$
这个式子中$(X^{T}X{)}^{-1}{X}^T$又称为伪逆。对于行满秩或者列满秩的X，可以直接求解，但是对于非满秩的样本集合，需要使用奇异值分解（SVD）的方法，对X求奇异值分解，得到
$$X=U\Sigma V^T$$
在几何上，最小二乘法相当于模型和试验值的距离的平方求和，假设我们的试验样本张成一个p维空间：$X=Span(x_1,...,x_N)$,而模型可以写成$f(w)=X\beta$,也就是$x_1,...,x_N$的某种组合，而最小二乘法就是说希望Y和这个模型距离越小越好，于是它们的差应该与这个张成的空间垂直：
$$X^T.(Y-X\beta )=0⟶\beta =(X^{T}X{)}^{-1}{X}^{T}Y$$

噪声为高斯分布的MLE

一维的高斯分布

$$N(\mu ,\sigma )=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$

p维高斯分布

$$N(\mu ,\Sigma )=\frac{1}{(2\pi {)}^{p/2}{\Sigma }^{1/2}}exp(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))$$

MLE极大似然估计

$${\theta }_{MLE}=argma{x}_{\theta }P(x|\theta )$$
对于一维的情况，记$y=w^{T}x+ϵ,ϵ\sim N(0,{\sigma }^2)$,那么$y\sim N(w^{T}x,{\sigma }^2)$。代入极大似然估计中：
$$\begin{gathered} L(w)=logp(Y|X,w)=log\prod _{i=1}^{N}p(y_i|x_i,w) \\ =\sum _{i=1}^{N}log(\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(y_i-w^T{x}_i{)}^2}{2{\sigma }^2}}) \\ =\sum _{i=1}^N[log\frac{1}{\sqrt{2\pi }}+log\frac{1}{\sigma }-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}] \end{gathered}$$
因此，我们求${\mu }_{MLE}$,有：
$$\begin{gathered} {\mu }_{MLE}=argma{x}_{\mu }logp(x|\theta ) \\ =argma{x}_{\mu }\sum _{i=1}^N-\frac{(x_i-\mu {)}^2}{2{\sigma }^2} \\ =argmi{n}_{\mu }\sum _{i=1}^N(x_i-\mu {)}^2 \end{gathered}$$
求导得：
$$\begin{gathered} \frac{\partial }{\partial \mu }\sum _{i=1}^N(x_i-\mu {)}^2=\sum _{i=1}^{N}2(x_i-\mu )(-1)=0 \\ ⟶\sum _{i=1}^N(x_i-\mu )=0 \\ ⟶\sum _{i=1}^N{x}_i=N\mu \\ ⟶{\mu }_{MLE}=\frac{1}{N}\sum _{i=1}^N{x}_i \end{gathered}$$

对于${\sigma }_{MLE}^2$,我们依然可以根据上式得到：
$$\begin{gathered} {\sigma }_{MLE}^2=argma{x}_{\sigma }logP(x|\theta ) \\ =argma{x}_{\sigma }(-log\sigma -\frac{1}{2{\sigma }^2}(x_i-\mu {)}^2) \end{gathered}$$
求导得：
$$\begin{gathered} \frac{\partial }{\partial \sigma }=-\frac{1}{\sigma }-\frac{1}{2}(x_i-\mu {)}^2(-2){\sigma }^{-3}=0 \\ ⟶-\frac{1}{\sigma }+(x_i-\mu {)}^2{\sigma }^{-3}=0 \\ ⟶-{\sigma }^2+(x_I-\mu {)}^2=0 \\ ⟶\sum _{i=1}^N-{\sigma }^2+(x_i-\mu {)}^2=0 \\ ⟶{\sigma }_{MLE}^2=\frac{1}{N}\sum _{i=1}^N(x_i-\mu {)}^2 \end{gathered}$$
但是上面的$\sigma$属于有偏估计。
我们对${\sigma }_{MLE}^2$求期望，有：
$$\begin{gathered} E[{\sigma }_{MLE}^2]=\frac{1}{N}\sum _{i=1}^{N}E(x_i-{\mu }_{MLE}{)}^2 \\ =\frac{1}{N}\sum _{i=1}^{N}E(x_i^2-2x_i{\mu }_{MLE}+{\mu }_{MLE}^2) \\ =\frac{1}{N}(\sum _{i=1}^{N}E(x_i^2)-2\sum _{i=1}^{N}E(x_i{\mu }_{MLE})+\sum _{i=1}^{N}E({\mu }_{MLE}^2)) \\ =\frac{1}{N}(\sum _{i=1}^{N}E(x_i^2)-2{\mu }_{MLE}^2+{\mu }_{MLE}^2) \\ =\frac{1}{N}E(\sum _{i=1}^N{x}_i^2-{\mu }_{MLE}^2) \\ =E[\frac{1}{N}\sum _{i=1}^N{x}_i^2-{\mu }^2-({\mu }_{MLE}^2-{\mu }^2)] \\ =E[\frac{1}{N}\sum _{i=1}^N{x}_i^2-{\mu }^2]-E[({\mu }_{MLE}^2-{\mu }^2)] \end{gathered}$$
而
$$\begin{gathered} E[\frac{1}{N}\sum _{i=1}^N{x}_i^2-{\mu }^2]=E(\frac{1}{N}\sum _{i=1}^N(x_i^2-{\mu }^2)) \\ =\frac{1}{N}\sum _{i=1}^N(x_i^2-{\mu }^2) \\ =\frac{1}{N}\sum _{i=1}^{N}E(x_i^2)-E({\mu }^2) \\ =\frac{1}{N}\sum _{i=1}^N{\sigma }^2={\sigma }^2 \end{gathered}$$
$$\begin{gathered} E[({\mu }_{MLE}^2-{\mu }^2)]=E({\mu }_{MLE}^2)-E({\mu }^2) \\ =E({\mu }_{MLE}^2)-{\mu }^2=Var({\mu }_{MLE}) \\ =Var[\frac{1}{N}\sum _{i=1}^N{x}_i]=\frac{1}{N^2}\sum _{i=1}^{N}Var(x_i) \\ =\frac{1}{N^2}\sum _{i=1}^N{\sigma }^2=\frac{1}{N}{\sigma }^2 \end{gathered}$$

所以最终：
$$E[{\sigma }_{MLE}^2]=\frac{N-1}{N}{\sigma }^2$$
而$\sigma$的无偏估计为：
$$\sigma =\frac{1}{N-1}\sum _{i=1}^N(x_i-{\mu }_{MLE})$$