AIC, BIC v.s. Crossvalidation

模型选择的方法有许多，例如 AIC, BIC, Crossvalidation, GCV等等。这

些准则的适用条件有哪些？该如何选择不同的准则？

---

• AIC, BIC准则

ref：https://methodology.psu.edu/node/504
ref：https://en.wikipedia.org/wiki/Bayesian_information_criterion
ref：https://en.wikipedia.org/wiki/Akaike_information_criterion

AIC和BIC均是基于似然函数的准则：

$$-2\log L+kp$$
其中 $L$是似然函数, $p$是模型参数的个数。

AIC: $k=2$
AIC目标：估计量与真实值的Kullback–Leibler距离达到最小，同时，控制过拟合（overfitting）

BIC: k=logn