AIC信息

AIC信息

​  假设$f$为可以反映真实情况的理想模型，$g$为用来近似真实情况的模型。两个模型见的$Kullback-Leibler$信息距离（$K-L$距离）是指有模型$g$来近似$f$所带来的信息损失。简称$g$到$f$的距离，$K-L$距离由式$(1)$表示。

$$I(f,g)=\int f(x)log \lgroup \frac {f(x)} {f(x|\theta)} \rgroup dx \tag1$$

​  $g$到$f$的$K-L$距离越小，则代表模型$g$越好。整理式$(1)$可知，$K-L$距离可以由两个$f$的期望来表示，其中，第一个期望是仅与未知的真实集$f$相关的定值。

$$\begin{equation} \begin{aligned} I(f,g) &=\int f(x)log(f(x))dx - \int f(x)log(g(x|\theta))dx \\ &= E_f[log(f(x))]-E_f[log(g(x|\theta))] \\ &= C-E_f[log(g(x|\theta))] \end{aligned} \tag 2 \end{equation}$$
​  则可以定义相对 $K-L$ 距离，比较不用模型 $g$的相对$K-L的$距离大小，同样可以对模型优劣程度做比较
$$I(f,g) -C=-E_f[log(g(x|\theta))] \tag 3$$
​  相对于 $K-L$距离在实际模型比较重仍然不适用，因为相对 $K-L$距离的计算依赖于真实集 $f$，$Akaike$提出了一种估计 $K-L$距离的特定方法。给定一个模型形式 $g$，存在一个特定模型参数$\theta _0$，使得 $g$到$f$的 $K-L$距离最小。这个特定的模型参数 $\theta_0$ 依赖于真实集 $f$，模型形式$g$，以及样本集 $x$。所以，$Akaike$提出用极大似然估计出的 $\hat \theta$ 来估计 $\theta_0$ ，则模型挑选准则从相对 $K-L$距离的比较进一步转化成对期望估计的 $K-L$距离的比较：
$$E_yE_x[log \lgroup g \lgroup x|\hat\theta(y) \rgroup \rgroup] \tag 4$$
​   $Akaike$发现这个 $K-L$距离的估计在实际情况中，存在过估计，过估计的量近似等于需要估计的模型参数个数 $K+1$。即

$$log \lgroup L \lgroup \hat \theta|data \rgroup \rgroup-(k+1) = C - \hat E_{\hat \theta}\lgroup I \lgroup f,\hat g \rgroup\rgroup \tag 5$$
​   因此， $Akaike$定义了期望相对 $K-L$距离来作为模型挑选的准则，称为 $Akaike$信息准则 $（Akaike's information Criterion ,AIC)$，即：
$$AIC = -2log \lgroup L \lgroup \hat \theta|y \rgroup\rgroup +2(k+1)$$
​  特别的，用最小二乘法估计的方法简化上式，则 $AIC$可进一步表示为：
$$AIC = nlog \lgroup \hat \sigma^2 \rgroup+2(k+1) \tag 6$$
​  式中， $\hat \sigma^2$是 $\sigma^2$的极大似然估计； $n$为样本大小；$RSS$为残差平方和。
$$\hat \sigma^2 = \frac {RSS} {n} \tag 7$$