回归-简述

回归是指预测的输出值为连续的实值.

1. 常用模型

• 线性回归
  相关博文: 回归-线性回归
• 逻辑斯谛回归
  相关博文: 回归-逻辑斯谛回归
• 回归决策树
  相关博文: GBDT, 梯度提升决策树
  相关博文: 回归- 决策树

#2. 数据集
回归问题的数据集通常是这样的, D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) } , y i ∈ R D=\{(\boldsymbol x_1,y_1),(\boldsymbol x_2,y_2), ... ,(\boldsymbol x_n,y_n) \}, y_i \in \mathbb R D={(x1​,y1​),(x2​,y2​),...,(xn​,yn​)},yi​∈R.
对于离散的属性, 有两种处理方法:

1. 该属性的离散值有大小关系
   如身高的<高,中,矮>转换为<0.0,0.5,1.0>
2. 无大小关系
   假定该属性有k个取值,通常化为k维向量. 如瓜类的<西瓜,南瓜,黄瓜>对应为三个one-hot向量<(1,0,0),(0,1,0),(0,0,1)>

3. 评价方法

需要注意的是, 对一组样本(可见概率论与数理统计)的误差分析与对回归问题的误差分析是不一样的. 前者观察与期望值的偏离程度, 后者观察预测值与样本值的偏离程度.

$\widehat{y_i}$ 表示预测值, $y_i$表示观测值, 即实际值.

• residual error
  残差. 即$\widehat{y_i}-y_i$.
  从残差分布中也能得到有用的信息, 如果分布成 白噪声 , 即残差是随机无规律的, 这种情况下最好. 否则可以认为是样本中有一些规律在预测中没有充分考虑到.

• MAE
  Mean absolute error, WikiPedia
  $$MAE=\frac{1}{n}\sum _{i=1}^n|{\hat{y}}_i-y_i|$$

• MAPE
  Mean_absolute_percentage_error, wikipedia
  尽管看起来简单令人信服, 但不能除以0.

$$MAPE=\frac{100}{n}\sum _{i=1}^n\left|\frac{{\hat{y}}_i-y_i}{y_i}\right|$$

• MSE
  Mean squared error, Wikipedia
  $$MSE=\frac{1}{n}\sum _{i=1}^n({\hat{y}}_i-y_i{)}^2$$

• RMSE
  Root-mean-square deviation, Wikipedia
  RMSE (root-mean-square error) 跟 RMSD 是一个概念.
  $$RMSE=\sqrt{MSE}$$

• $R^2$
  Coefficient of Determination, wikipedia
  判定系数, 用$R^2$表示. 它表示回归曲线与样本点的拟合程度, 范围是[0,1] , 值越大拟合程度越好.
  $$\begin{gathered} R^2=1-\frac{S{S}_{res}}{S{S}_{tot}} \\ =1-\frac{\sum ({\hat{y}}_i-y_i{)}^2}{\sum (y_i-\bar{y}{)}^2} \end{gathered}$$

• 自创指标
  见参考[1], 对比总是猜均值的优越性.

参考

1. 我的自创评价指标, Stack Exchange