AIC（最小信息化准则）

AIC信息准则（即Akaike information criterion），是用来衡量统计模型拟合优良性的一个标准，是是由日本统计学家赤池弘次创立和发展的，因此也称为赤池信息量准则，它建立在熵的概念基础上，可以权衡所估计模型的复杂度和模型拟合数据的优良性。

在一般情况下，AIC可以表示为：AIC=2k-2ln(L)

其中：k是参数的数量，L是似然函数。假设条件是模型的误差服从独立正态分布。让n为观察数，SSR(SUM SQAURE OF RESIDUE)为残差平方和，那么AIC变为：AIC=2k+nln(SSR/n)。其中残差是实际观察值与估计值的差。

增加自由参数的数目提高了拟合的优良性，AIC鼓励数据拟合的优良性但是尽量避免出现过度拟合（Overfitting）的情况，所以优先考虑的模型是AIC值最小的那一个。赤池信息准则的方法是寻找可以最好的解释数据但是包含最少的自由参数的模型。

用Python实现的AIC计算：

#计算AIC(k: number of variables, n: number of observations)
def AIC(y_test, y_pred, k, n):
    resid = y_test - y_pred
    SSR = sum(resid ** 2)
    AICValue = 2*k+n*log(float(SSR)/n)
    return AICValue