机器学习 —— 2 线性回归

---

一、一些简单的概率统计

1.概念

• 概率：对随机事件发生可能性大小的度量
• 条件概率：事件B已发生的条件下，事件A发生的概率，记作$P(A\mid B)$
• 联合概率：A和B共同发生的概率，称事件A和B的联合概率，记为$P(A,B)$
• 独立事件：事件A(或B)是否发生对事件B(或A)的发生概率没有影响，则称A和B为相互独立事件
• 条件独立：在给定C的条件下，若事件A和B满足$P(A,B\mid C)=P(A,C)\cdot P(B,C)$或$P(A\mid B,C)=P(A\mid C)$，则称在给定C的情况下A和B独立
  
  

2.全概率公式&贝叶斯公式

• 乘法原理
  $$\begin{array}{rl}P(A,B)& =P(A\mid B)\cdot P(B)\\ & =P(B\mid A)\cdot P(A)\end{array}$$
• 全概率公式
  A为任一事件，$B_1,B_2,...,B_n$是样本空间$\Omega$的一个划分，且$B_i$两两互斥，$P(B_i)>0,(i=1,2,...,n)$，那么有：
  $$P(A)=\sum _{i=1}^{n}P(A,B_i)=\sum _{i=1}^{n}P(A\mid B_i)P(B_i)$$
• 贝叶斯公式
  $$P(B_i\mid A)=\frac{P(B_i)P(A\mid B_i)}{{\sum }_{j=1}^{n}P(B_j)P(A\mid B_j)}$$
  
  

3.随机变量

• 概率密度函数
  是描述随机变量输出值在某确定取值点附近可能性的函数，图中红色$p(x)$为概率密度函数，蓝色$P(x)$为分布函数，$P(x)$由$p(x)$积分得到。
  
• 期望
  描述一个随机变量所取值的概率平均
  离散型：$$E[X]=\sum _{k=1}^{\infty }{x}_k{p}_k$$
  连续型：$$E[X]={\int }_{-\infty }^{+\infty }xf(x)dx$$
• 方差
  随机变量的方差描述的该随机变量的值偏离其期望值的程度
  离散型：
  $$\begin{array}{rl}Var(x)& =E[X-E(X){]}^2\\ & =\sum _{k=1}^{\infty }[x_k-E(X){]}^2{p}_k\\ & =E(X^2)-E(X{)}^2\end{array}$$
  连续型：
  $$Var(X)={\int }_{-\infty }^{+\infty }[x-E(x){]}^{2}f(x)dx$$
  
  

4.高斯分布

• 一维高斯分布
  N ( x ∣ μ , σ 2 ) = ( 2 π σ 2 ) − 1 2 exp ⁡ { − 1 2 σ 2 ( x − μ ) 2 } \mathcal{N}(x \mid \mu,\sigma^2)=(2\pi\sigma^2)^{-\frac{1}{2}}\exp\{-\frac{1}{2\sigma^2}(x-\mu)^2\} N(x∣μ,σ2)=(2πσ2)−21​exp{−2σ21​(x−μ)2}
• 多维高斯分布
  N ( x ∣ μ , Σ ) = 1 ( 2 π ) D 2 1 ∣ Σ ∣ 1 2 exp ⁡ { − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) } \mathcal{N}(x \mid \mu,\Sigma)=\frac{1}{(2\pi)^{\frac{D}{2}}} \frac{1}{|\Sigma|^\frac{1}{2}} \exp\{-\frac{1}{2}(x-\mu)^\mathrm{T}\Sigma^{-1}(x-\mu)\} N(x∣μ,Σ)=(2π)2D​1​∣Σ∣21​1​exp{−21​(x−μ)TΣ−1(x−μ)}
  
  

5.极大似然估计

• 似然函数
  $$p(x_1,x_2,...,x_n)=\prod _{j=1}^{N}p(x_j\mid \theta )$$
  若似然函数可微，则可对微分方程进行求解，作为极值的必要条件：
  $$\frac{\partial p(x_1,x_2,...,x_n\mid \theta )}{\partial \theta }=0或\frac{\partial \ln p(x_1,x_2,...,x_n\mid \theta )}{\partial \theta }$$
  
  

二、线性回归模型

假设函数$f$为输入$x$的线性函数：
$$\begin{array}{rl}f(x)& =w_0+w_1{x}_1+...+w_m{x}_m\\ & =w_0+\sum _{j=1}^m{w}_i{x}_i\\ & ={\text{w}}^{\mathrm{T}}\text{x}\end{array}$$

将线性回归拓展到非线性：引入基函数

三、线性回归求解算法

• 问题的本质：确定模型中的参数${\text{w}}^{\mathrm{T}}$
• 基本思想：基于训练集最小化预测值$f$与真是输出值$y$的差异
• 目标函数（或代价函数）：
  $$J(\text{w})=\frac{1}{2}\sum _{i=1}^N(f(x_i)-y_i{)}^2$$ 进一步得到参数：
  $$\hat{\text{w}}=\underset{\text{w}}{\mathrm{argmin}}=\underset{\text{w}}{\mathrm{argmin}}\frac{1}{2}\sum _{i=1}^N(f(x_i)-y_i{)}^2$$
• 求解算法：
  1. 梯度下降法：BGD，SGD，MBGD
  2. 标准方程组
     
     

1.梯度下降法

为了使损失函数$J(w)$最小，首先对$w$赋初值，这个值可以是随机的，也可以是一个全零的向量；之后不断更新$w$的值，使得$J(w)$按梯度下降的方向进行减少，直到收敛。

1. 批处理梯度下降(BGD - Batch Gradient Descent)
   每次利用所有的数据更新参数$w$（同时更新$w$的各个维度，$\alpha$为学习率）：
   $$\begin{gathered} w_j^t=w_j^{t-1}-\alpha \frac{\partial }{\partial w_j}J(w) \\ \frac{\partial }{\partial w_j}J(w)=\sum _{i=1}^N(f(x_i)-y_i)x_{i,j} \end{gathered}$$ 在大样本条件上下，BGD的迭代速度很慢

2. 随机梯度下降(SGD - Stochastic Gradient Descent)
   SGD又称为在线学习，基本思想为如果条件对所有样本成立，则对任一样本也成立。每次只用一个样本$(x_r,y_r)$对参数$\text{w}$进行更新：
   $$w_j^t=w_j^{t-1}-\alpha (f(x_r)-y_r)$$ SGD收敛速度快，不太容易陷入局部最优，对大样本数据较有效。

3. 小批量处理梯度下降(MBGD - Mini-Batch Gradient Descent)
   介于上述两种方法之间，每次更新用一部分样本对参数$\text{w}$进行更新。
   
   

2.标准方程组

将目标函数改写成矩阵形式：
$$\begin{array}{rl}J(\text{w})& =\sum _{i=1}^N({\text{w}}^{\mathrm{T}}{x}_i-y_i{)}^2\\ & =(X\text{w}-y{)}^{\text{T}}(X\text{w}-y)\end{array}$$
其中
$$X=\left(\begin{array}{c}{\text{x}}_1^{\mathrm{T}}\\ {\text{x}}_2^{\mathrm{T}}\\ ⋮\\ {\text{x}}_N^{\mathrm{T}}\end{array}\right)=\left(\begin{array}{cccc}{x}_{11}& x_{12}& \dots & x_{1m}\\ x_{21}& x_{22}& \dots & x_{2m}\\ ⋮& ⋮& \ddots & ⋮\\ x_{N1}& x_{N2}& \dots & x_{Nm}\end{array}\right)\text{y}={\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_N\end{array}\right)}^{\mathrm{T}}$$
对$\mathrm{w}$求偏导：
$$\begin{array}{rl}\frac{\partial }{\partial \text{w}}J(\text{w})& =\frac{\partial }{\partial \text{w}}(X\text{w}-\text{y}{)}^{\mathrm{T}}(X\text{w}-\text{y})\\ & =2X^{\mathrm{T}}(X\text{w}-\text{y})\end{array}$$
令偏导数等于0，可得：
$$\hat{\text{w}}=(X^{\mathrm{T}}X{)}^{-1}{X}^{\mathrm{T}}\text{y}$$

3.两种方法的对比

四、回归模型的深入探讨

我们可以将每一个数据样本点看作是在回归曲线的基础之上加入了一个高斯噪声。即对于点$x_0$，其对应的曲线拟合回归值为$y(x_0,\text{w})$，对应的真实样本观测值为$t$，则可以将$t$看作是由高斯分布$p(t\mid x_0,\text{w},\beta )=\mathcal{N}(t\mid y(x,\text{w}),{\beta }^{-1})$生成得到的，其中${\beta }^{-1}={\sigma }^2$

于是模型为：
$$t=y(\text{x},\text{w})+ϵp(ϵ\mid \beta )=\mathcal{N}(ϵ\mid 0,{\beta }^{-1})$$

1.极大似然估计

基本思想：把待估计的参数看做是确定的量，只是其取值未知。最佳估计就是使得产生以观测到的样本的概率最大的那个值。
根据定义的模型可以得到似然函数和对数似然函数：
$$\begin{gathered} p(t\mid \text{x},\text{w},\beta )=\prod _{n=1}^N\mathcal{N}(t\mid y(x,\text{w}),{\beta }^{-1}) \\ \ln p(t\mid \text{x},\text{w},\beta )=-\frac{\beta }{2}\sum _{n=1}^N[y(x_n,\text{w})-t_n{]}^2+\frac{N}{2}\ln \beta -\frac{N}{2}\ln (2\pi ) \end{gathered}$$ 观察上式可以发现，最大化对数似然函数$\ln p(t\mid \text{x},\text{w},\beta )$等价于最小化${\sum }_{n=1}^N[y(x_n,\text{w})-t_n{]}^2$，这与之前定义的MSE目标函数$J(\mathrm{w})$是相同的。

2.最大后验估计(MAP)

基本思想：把待估计的参数看做是符合某种先验概率分布的随机变量。 对样本进行观测的过程，就是把先验概率密度转化为后验概率密度，从而利用样本信息修正了对参数的初始估计值。
根据贝叶斯公式得到：
$$p(\text{w}\mid \text{x},\text{t},\alpha ,\beta )\propto p(\text{t}\mid \text{x},\text{w},\beta )p(\text{w}\mid \alpha )$$ 其中$p(\text{w}\mid \alpha )$为参数$\text{w}$的先验分布，定义为均值为0的高斯分布：
$$\begin{array}{rl}p(\text{w}\mid \alpha )& =\mathcal{N}(\text{w}\mid \text{0},{\alpha }^{-1}\text{I})\\ & =(\frac{\alpha }{2\pi }{)}^{\frac{M+1}{2}}\exp (-\frac{\alpha }{2}{\text{w}}^{\mathrm{T}}\text{w})\end{array}$$ 则似然函数及对数似然函数为：
$$\begin{gathered} p(\text{w}\mid \text{x},\text{t},\alpha ,\beta )=\prod _{n=1}^N\mathcal{N}(t\mid y(x,\text{w}),{\beta }^{-1})\cdot (\frac{\alpha }{2\pi }{)}^{\frac{M+1}{2}}\exp (-\frac{\alpha }{2}{\text{w}}^{\mathrm{T}}\text{w}) \\ \ln p(\text{w}\mid \text{x},\text{t},\alpha ,\beta )=-\frac{\beta }{2}\sum _{n=1}^N[y(x_n,\text{w})-t_n{]}^2+\frac{N}{2}\ln \beta -\frac{N}{2}\ln (2\pi )+\frac{M+1}{2}\ln (\frac{\alpha }{2\pi })-\frac{\alpha }{2}{\text{w}}^{\mathrm{T}}\text{w} \end{gathered}$$ 观察到最大化上述对数似然函数等价于最小化下式：
$$\beta \hat{E}(\text{w})=\frac{\beta }{2}\sum _{n=1}^N[y(x_n,\text{w})-t_n{]}^2+\frac{\alpha }{2}{\text{w}}^{\mathrm{T}}\text{w}$$ 可以发现，这相当于在目标函数$J(\text{w})$中加入了二次正则化项。