分位数回归简介（QR笔记）

Type	Book
Title	Quantile Regression
Author(s)	Roger Koenker
Year	2005
Series	Econometric Society Monographs (38)
Level	Monograph
Citation	9393
Chapter(s)	C1

本文是Koenker (2005) 第1章的笔记，QR是指分位数回归，本书是分位数回归中最经典的著作（没有之一）。本章主要用例子讲解什么是QR，以及QR的优势。

背景考古

线性回归为什么流行？

• 计算方便；
• 误差正态时性质较好；
• 提供了对条件期望函数的一种一般的近似方法。

但在均值之外，还有许多可以研究的东西，QR就可以更全面地描述整个分布。

原书举了一个Boscovich对地球的扁率（flattening或ellipticity）估计的例子进行考古。问题的背景是，要根据纬度$x$和弧长$y$，估计出$y=a+b{\sin }^{2}x$中的$a$和$b$，这里$a$是赤道上一段弧长的长度，$b$是极地一段弧长的长度比赤道长了多少，然后就可以计算扁率，公式为$b/(3a)$。采集了5个不同地点的$(x,y)$数据之后，利用任意两个数据点，都可以得到$(a,b)$的一个估计，因此一共会有$10$个估计，画在下图中。

可以看到有些估计不能让人满意。本质上，OLS估计量是这$10$个用两个样本估计的结果的加权平均，对异常值也比较敏感。为了改进它，Boscovich提出了一种结合了均值和中位数的优点的方法，Boscovich的生卒年是1711–1787，而后面又有其他人对基于中位数方法的思想与改进，如Laplace (1789) 和Edgeworth (1988) 等，这就是分位数回归的思想萌芽。但基于中位数的方法在计算上始终是个麻烦，直到后来线性规划（LP）的出现。

分位数及其LP求解

分位数函数本质上是c.d.f的反函数，为了估计$\tau$分位数，可以用check function ${\rho }_{\tau }(u)=(\tau -1_{u<0})u$作为损失函数进行最小化求解，这是一个分段线性函数。求解最小化是指，变动$x$，求$E{\rho }_{\tau }(X-x)$的最小值，假设$X$是连续型随机变量，则$\frac{dE{\rho }_{\tau }(X-x)}{dx}=F_X(x)-\tau$，令其为$0$，再由$F_X(\cdot )$的单调递增性可知，最小化的解刚好就是$\tau$分位数。在实际中，用e.d.f.替换c.d.f.就可解出样本分位数。

通过这个过程，我们将排序的问题，转化成了一个最优化问题，这种转化的思想可以将分位数推广到许多其他的模型，非常重要。

在求解样本分位数时，可以使用LP。想要最小化${\sum }_{i=1}^N{\rho }_{\tau }(y_i-q)$，但它不是处处可微的，可以引入两个松弛变量$u_i=$