多元线性模型的分位数回归
一、为什么要使用分位数回归？
众所周知，对于线性模型 Y = X β + ε Y=X\beta+\varepsilon Y=Xβ+ε，人们往往习惯于使用均值回归。但是均值回归往往更关注的只是均值，对于数据的“其他部位”往往照顾不够。有时不能较为客观地反映一组数据的各个层次的实际情况。比如我是一名还在读大三的本科生，我和当前的世界首富埃隆▪马斯克人均财富千亿美元级别，显然这个均值对于反映我的财富水平来说是毫无意义的，甚至是有信息误导的作用。但是如果试想使用分位数回归，那我就可以避免被马斯克平均了。
我们知道在均值回归的普通最小二乘法中，我们是通过求残差的平方和最小来估计参数的。而在分位数回归中我们通常求残差的绝对值的加权求和最小来估计参数。就我目前了解，这样做的目的之一是减小离群点的大误差对整体回归估计的影响。例如，通常离群点处的残差是远远大于1的，在这种情况下残差的绝对值就要远小于残差的平方值，所以使用残差的绝对值可以减少离群点处的误差对整体回归的影响，而这也算是我们进行分位数回归的初衷之一。
分位数回归通常是采用最小一乘法，而最小一乘法对误差项 ε \varepsilon ε并没有要求其服从正态分布，所以相比于均值回归通常采用的最小二乘法对误差 ε \varepsilon ε要求服从正态分布来说，最小一乘法的误差 ε \varepsilon ε更具有普遍性。
总的来说相比于均值回归，（1）分位数回归对数据分布的情况掌握的更全面客观。（2）使用分位数回归，离群点对于数据整体的影响要比较使用均值回归小的多。所以我们也可以说分位数回归更加稳健。（3）分位数回归对于误差项更具有普适性。
二、分位数回归基本模型
Y ( θ ) = X β ( θ ) + ε ( θ ) (1) Y^{(\theta)}=X\beta^{(\theta)}+\varepsilon^{(\theta)} \tag{1} Y(θ)=Xβ(θ)+ε(θ)(1)
其中 θ \theta θ为分位数，对于实随机变量 Y Y Y，其右连续分布函数为 F ( y ) = P ( Y ≤ y ) F(y)=P(Y\leq y) F(y)=P(Y≤y), Y Y Y的 θ \theta θ分位数函数为 F − 1 ( θ ) = i n f ( y : F ( y ) ≥ θ ) F^{-1}(\theta)=inf(y:F(y)\ge \theta) F−1(θ)=inf(y:F(y)≥θ)，也即第 100 θ % 100\theta\% 100θ%的 y y y。
其中， Y ( θ ) = [ y 1 y 2 ⋮ y n ] , X = [ 1 x 11 ⋯ x 1 p 1 x 21 ⋯ x 2 p ⋮ ⋮ ⋱ ⋮ 1 x n 1 ⋯ x n p ] β ( θ ) = [ β 0 β 1 ⋮ β p ] , ε ( θ ) = [ ε 1 ε 2 ⋮ ε n ] Y^{(\theta)}=\left[ \begin{matrix} y_{1} \\ y_{2} \\ \vdots \\ y_{n} \end{matrix} \right] ,X=\left[ \begin{matrix} 1&x_{11}&\cdots&x_{1p} \\ 1&x_{21}&\cdots&x_{2p} \\ \vdots&\vdots&\ddots&\vdots \\ 1 &x_{n1}&\cdots&x_{np} \end{matrix} \right]\\ \beta^{(\theta)}=\left[ \begin{matrix} \beta_{0} \\ \beta_{1} \\ \vdots \\ \beta_{p} \end{matrix} \right],\varepsilon^{(\theta)}=\left[ \begin{matrix} \varepsilon_{1} \\ \varepsilon_{2} \\ \vdots \\ \varepsilon_{n} \end{matrix} \right] Y(θ)=⎣⎢⎢⎢⎡y1y2⋮yn⎦⎥⎥⎥⎤,X=⎣⎢⎢⎢⎡11⋮1
最低0.47元/天 解锁文章
扫一扫
7229
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
