1 一般回归问题
一般来说,计量经济学教材会从线性回归讲起,但这里再在线性回归之前,理一理更一般性的回归问题。
先看定义一下什么叫回归:
定义1 回归函数(Regression Function): E ( y ∣ x ) \mathbb{E}(y|\mathbf{x}) E(y∣x)就是 y y y对 x \mathbf{x} x的回归函数。
再定义一个度量预测得好不好的指标:
定义2 均方误(Mean Squared Error,MSE):假设用 g ( x ) g(\mathbf{x}) g(x)预测 y y y,则预测量 g ( x ) g(\mathbf{x}) g(x)的均方误为 MSE ( g ) = E [ y − g ( x ) ] 2 \text{MSE}(g)=\mathbb{E}[y-g(\mathbf{x})]^2 MSE(g)=E[y−g(x)]2
最好的预测函数的形式是什么?以下定理表明,最好的预测函数,恰恰就是回归函数即条件期望。
定理1 MSE的最优解: E ( y ∣ x ) \mathbb{E}(y|\mathbf{x}) E(y∣x)是以下问题的最优解:
E ( y ∣ x ) = arg min g ∈ F MSE ( g ) = arg min g ∈ F E [ y − g ( x ) ] 2 \mathbb{E}(y|\mathbf{x}) = \arg\min_{g\in \mathbb{F}} \text{MSE}(g) = \arg\min_{g\in \mathbb{F}} \mathbb{E}[y-g(\mathbf{x})]^2 E(y∣x)=argg∈FminMSE(g)=argg∈FminE[y−g(x)]2
其中 F \mathbb{F} F是所有可测和平方可积函数的集合(space of all measurable and square-integrable functions):
F = { g : R k + 1 → R ∣ ∫ g 2 ( x ) f X ( x ) d x < ∞ } \mathbb{F}=\{ g:\mathbb{R}^{k+1}\to\mathbb{R} \Big| \int g^2(\mathbf{x})f_X(\mathbf{x})\,d\mathbf{x}<\infty\} F={ g:Rk+1→R∣∣∣∫g2(x)fX(x)dx<∞}
在该定理中,直接求解最值问题比较复杂,需要用到变分法,用构造法证明该定理比较简单,直接对 MSE ( g ) \text{MSE}(g) MSE(g)做分解即可。令 g 0 ( x ) ≡ E ( y ∣ x ) g_0(\mathbf{x})\equiv \mathbb{E}(y|\mathbf{x}) g0(x)≡E(y∣x),则有
MSE ( g ) = E [ y − g 0 ( x ) + g 0 ( x ) − g ( x ) ] 2 = E [ y − g 0 ( x ) ] 2 + E [ g 0 ( x ) − g ( x ) ] 2 + 2 E [ ( y − g 0 ( x ) ) ( g 0 ( x ) − g ( x ) ) ] 2 = E [ y − g 0 ( x ) ] 2 + E [ g 0 ( x ) − g ( x ) ] 2 \begin{aligned} \text{MSE}(g) = &\mathbb{E}[y-g_0(\mathbf{x})+g_0(\mathbf{x})-g(\mathbf{x})]^2\\ =& \mathbb{E}[y-g_0(\mathbf{x})]^2+\mathbb{E}[g_0(\mathbf{x})-g(\mathbf{x})]^2+2\mathbb{E}[\left(y-g_0(\mathbf{x})\right)\left(g_0(\mathbf{x})-g(\mathbf{x})\right)]^2\\ =& \mathbb{E}[y-g_0(\mathbf{x})]^2+\mathbb{E}[g_0(\mathbf{x})-g(\mathbf{x})]^2 \end{aligned} MSE(g)===E[y−g0(x)+g0(x)−g(x)]2E[y−g0