机器学习基础

基本概念

• 评价模型性能的指标
  • 均方差
  • 平均绝对误差
  • 决定系数
  • 解释方差得分： $explained\_variance(y,\hat{y})=1-\frac{Var(y-\hat{y})}{Var(y)}$

回归

线性回归

假设：数据集 D = { ( x 1 , y 1 ) , . . . , ( x N , y N ) } D = \{(x_1,y_1),...,(x_N,y_N) \} D={(x1​,y1​),...,(xN​,yN​)}，$x_i\in R^p,y_i\in R,i=1,2,...,N$，$X=(x_1,x_2,...,x_N{)}^T,Y=(y_1,y_2,...,y_N{)}^T$
假设X和Y之间存在线性关系，模型的具体形式为$\hat{y}=f(w)=w^{T}x$

最小二乘估计（题1、2）

• 一般解释：使得估计值和真实值二范数平方和L(w)最小的w
• 几何解释：估计值$Xw\in x$平面，当向量$Y-Xw$与x平面垂直时，$Y-Xw$最小，即$X^T(Y-Xw)=0$
• 概率解释：线性回归的最小二乘估计<==>噪声$ϵ\backsim N(0,{\sigma }^2)$的极大似然估计

多项式回归（题3）

多项式阶数越大，多项式曲线就会越光滑，在X的边界处有异常的波动。多项式拟合曲线的置信区间明显增大，预测效果的稳定性下降。

广义回归模型（GAM）

GAM实际上是线性模型推广至非线性模型的一个框架，在这个框架中，每一个变量都用一个非线性函数来代替，但是模型本身保持整体可加性。

• 优点： 简单容易操作，能够很自然地推广线性回归模型至非线性模型，使得模型的预测精度有所上升；由于模型本身是可加的，因此GAM还是能像线性回归模型一样把其他因素控制不变的情况下单独对某个变量进行推断，极大地保留了线性回归的易于推断的性质。

• 缺点： GAM模型会经常忽略一些有意义的交互作用，比如某两个特征共同影响因变量，不过GAM还是能像线性回归一样加入交互项$x^{(i)}\times x^{(j)}$的形式进行建模；但是GAM模型本质上还是一个可加模型，如果我们能摆脱可加性模型形式，可能还会提升模型预测精度，详情请看后面的算法。

• python库：pygam

  《女士品茶》

Case Study（题7）

用python和numpy对一个数据集进行线性回归拟合，不能使用sklearn。

选用UCI的Energy efficiency Data Set进行线性回归拟合。
数据集为建筑冷、热负荷和相应的建筑物理参数
其中：
X1 Relative Compactness
X2 Surface Area
X3 Wall Area
X4 Roof Area
X5 Overall Height
X6 Orientation
X7 Glazing Area
X8 Glazing Area Distribution
响应数据为：
y1 Heating Load
y2 Cooling Load

实验分别对y1、y2和8个X变量进行线性回归。代码如下：

import pandas as pd
import numpy as np
df=pd.read_excel('/Users/gu/Downloads/ENB2012_data.xlsx')
X = df.iloc[:,:-2]
X = np.array(X)
y1 = np.array(df.iloc[:,-2])
y2 = np.array(df.iloc[:,-1])
A = np.vstack([X.T, np.ones(len(X))]).T
results1 = np.linalg.lstsq(A, y1)[0]
results2 = np.linalg.lstsq(A, y2)[0]

回归树

• 优点：
  • 树模型的解释性强
  • 树模型更接近人的决策方式
  • 树模型可以用图来表示，非专业人士也可以轻松解读
  • 树模型可以直接做定性的特征而不需要像线性回归一样对离散变量进行哑元化。
  • 树模型能很好处理缺失值和异常值，对异常值不敏感。
• 缺点：
  • 树模型的预测准确性一般无法达到其他回归模型的水平
  • 容易过拟合
    改进方法：集成学习

支持向量回归

优化基础知识（题5、6）

• KKT条件（题5）
  假设$x^{\ast }$为最优化问题§的局部最优解，且$x^{\ast }$ 在某个适当的条件下 ,有：
  $$\begin{gathered} \nabla f(x^{\ast })+\sum _{i=1}^m{\lambda }_i\nabla g(x^{\ast })+\sum _{j=1}^l{\mu }_j\nabla h_j(x^{\ast })=0(对偶条件) \\ {\lambda }_i\ge 0,i=1,2,...,m(对偶条件) \\ {g}_i(x^{\ast })\le 0(原问题条件) \\ {h}_j(x^{\ast })=0(原问题条件) \\ {\lambda }_{i}g(x^{\ast })=0(互补松弛定理) \end{gathered}$$
  即函数和约束函数梯度向量和为0。

• 引入对偶理论原因（题6）

1. 任何一个原问题在变成对偶问题后都会变成一个凸优化的问题
2. 对偶问题可以解决原问题难以解决的问题

SVR

• 线性回归的理论：每个样本点都要计算平方损失
• SVR：落在$f(x)$的$ϵ$邻域空间中的样本点不需要计算损失，其余的落在$ϵ$邻域空间以外的样本才需要计算损失 $$\begin{gathered} mi{n}_{w,b,{\xi }_i,{\hat{\xi }}_i}\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N({\xi }_i,{\hat{\xi }}_i) \\ s.t.f(x_i)-y_i\le ϵ+{\xi }_i \\ {y}_i-f(x_i)\le ϵ+{\hat{\xi }}_i \\ {\xi }_i,{\hat{\xi }}_i\le 0,i=1,2,...,N \end{gathered}$$
  引入拉格朗日函数：
  $$\begin{array}{l}L(w,b,\alpha ,\hat{\alpha },\xi ,\xi ,\mu ,\hat{\mu })\\ =\frac{1}{2}\Vert w{\Vert }^2+C{\sum }_{i=1}^N\left({\xi }_i+{\hat{\xi }}_i\right)-{\sum }_{i=1}^N{\xi }_i{\mu }_i-{\sum }_{i=1}^N{\hat{\xi }}_i{\hat{\mu }}_i\\ +{\sum }_{i=1}^N{\alpha }_i\left(f\left(x_i\right)-y_i-ϵ-{\xi }_i\right)+{\sum }_{i=1}^N{\hat{\alpha }}_i\left(y_i-f\left(x_i\right)-ϵ-{\hat{\xi }}_i\right)\end{array}$$
  再令$L(w,b,\alpha ,\hat{\alpha },\xi ,\xi ,\mu ,\hat{\mu })$对$w,b,\xi ,\hat{\xi }$求偏导等于0，得： $w={\sum }_{i=1}^N\left({\hat{\alpha }}_i-{\alpha }_i\right)x_i$。
  上述过程中需满足KKT条件，即要求：
  $$\{\begin{array}{c}{\alpha }_i\left(f\left(x_i\right)-y_i-ϵ-{\xi }_i\right)=0\\ \widehat{{\alpha }_i}\left(y_i-f\left(x_i\right)-ϵ-{\hat{\xi }}_i\right)=0\\ {\alpha }_i{\hat{\alpha }}_i=0,{\xi }_i{\hat{\xi }}_i=0\\ \left(C-{\alpha }_i\right){\xi }_i=0,\left(C-{\hat{\alpha }}_i\right){\hat{\xi }}_i=0\end{array}$$
  SVR的解形如:$f(x)={\sum }_{i=1}^N\left({\hat{\alpha }}_i-{\alpha }_i\right)x_i^{T}x+b$