python aic准则_赤池信息准则AIC，BIC

很多参数估计问题均采用似然函数作为目标函数，当训练数据足够多时，可以不断提高模型精度，但是以提高模型复杂度为代价的，同时带来一个机器学习中非常普遍的问题——过拟合。所以，模型选择问题在模型复杂度与模型对数据集描述能力(即似然函数)之间寻求最佳平衡。

人们提出许多信息准则，通过加入模型复杂度的惩罚项来避免过拟合问题，此处我们介绍一下常用的两个模型选择方法——赤池信息准则(Akaike Information Criterion，AIC)和贝叶斯信息准则(Bayesian Information Criterion，BIC)。

1.AIC准则

AIC是衡量统计模型拟合优良性的一种标准，由日本统计学家赤池弘次在1974年提出，它建立在熵的概念上，提供了权衡估计模型复杂度和拟合数据优良性的标准。

通常情况下，它是拟合精度和参数未知个数的加权函数，AIC定义为：

AIC=2k-2In(L)

当在两个模型之间存在着相当大的差异时，这个差异出现于上式第二项，而当第二项不出现显著性差异时，第一项起作用，从而参数个数少的模型是好的模型。

让n为观察数，RSS为剩余平方和，那么AIC变为：

AIC=2k+nIn(RSS/n)

其中k是模型中未知参数个数，L是模型中极大似然函数值似然函数。从一组可供选择的模型中选择最佳模型时，通常选择AIC最小的模型。

当两个模型之间存在较大差异时，差异主要体现在似然函数项，

当似然函数差异不显著时，上式第一项，