AIC(最小信息化准则)

11人阅读 评论(0) 收藏 举报
分类:

AIC信息准则(即Akaike information criterion),是用来衡量统计模型拟合优良性的一个标准,是是由日本统计学家赤池弘次创立和发展的,因此也称为赤池信息量准则,它建立在熵的概念基础上,可以权衡所估计模型的复杂度和模型拟合数据的优良性。

在一般情况下,AIC可以表示为:AIC=2k-2ln(L)

其中:k是参数的数量,L是似然函数。假设条件是模型的误差服从独立正态分布。让n为观察数,SSR(SUM SQAURE OF RESIDUE)为残差平方和,那么AIC变为:AIC=2k+nln(SSR/n)。其中残差是实际观察值与估计值的差。

增加自由参数的数目提高了拟合的优良性,AIC鼓励数据拟合的优良性但是尽量避免出现过度拟合(Overfitting)的情况,所以优先考虑的模型是AIC值最小的那一个。赤池信息准则的方法是寻找可以最好的解释数据但是包含最少的自由参数的模型。

用Python实现的AIC计算:

#计算AIC(k: number of variables, n: number of observations)
def AIC(y_test, y_pred, k, n):
    resid = y_test - y_pred
    SSR = sum(resid ** 2)
    AICValue = 2*k+n*log(float(SSR)/n)
    return AICValue



查看评论

如何写系统分析书

文章摘要:  想和大家一起来谈谈在软件工程中我们所做的第一步:系统分析。希望我们中国的代码人能吸取更多更好的理论和实际的经验,有符合我们实际情况的系统分析、开发方法、步骤以及文档。正文:想和大家一起来...
  • wlcumt
  • wlcumt
  • 2000-12-21 08:47:00
  • 2284

AIC(最小信息准则)

数字信号处理中对多种模型作选择的判别方法。 AIC信息准则即Akaike information criterion,是衡量统计模型拟合优良性的一种标准,由于它为日本统计学家赤池弘次创立和发展的...
  • xiewenbo
  • xiewenbo
  • 2014-07-16 20:26:43
  • 2143

赤池信息准则AIC,BIC

很多参数估计问题均采用似然函数作为目标函数,当训练数据足够多时,可以不断提高模型精度,但是以提高模型复杂度为代价的,同时带来一个机器学习中非常普遍的问题——过拟合。所以,模型选择问题在模型复杂度与模型...
  • yinyu19950811
  • yinyu19950811
  • 2017-03-09 18:24:25
  • 3148

理解赤池信息量(AIC),贝叶斯信息量(BIC)

一、基本概念 AIC: Akaike information criterion,赤池信息量。 BIC:Bayesian information criterion,贝叶斯信息度量。 在选择模型...
  • CHIERYU
  • CHIERYU
  • 2016-06-26 21:41:38
  • 16511

<em>信息</em>系统安全等级保护测评<em>准则</em>

<em>信息</em>系统安全等级保护-测评<em>准则</em> 立即下载 上传者: yz_wang2002 时间: 2008-11...您今日下载次数已达上限(为了良好下载体验及使用,每位用户24小时之内最多可下载...
  • 2018年04月09日 00:00

<em>信息</em>系统审计<em>准则</em>—IT审计

<em>信息</em>系统审计<em>准则</em>—IT审计 2009-08-28 上传大小:41KB IT审计<em>信息</em>系统审计 <em>信息</em>系统审计的目标是协助组织<em>信息</em>技术管理人员有效地履行其受托责任以达成组织的<em>信息</em>技术...
  • 2018年04月09日 00:00

<em>信息</em>理论基础

相对熵则是编码不一定最优时,平均编码长度相对于<em>最小</em>值的增值。而在机器学习中...唯一可译码判别<em>准则</em> 立即下载 上传者: woeaimn 时间: 2012-03-19 综合评分:...
  • 2018年04月14日 00:00

AIC,BIC信息准则

AIC,BIC信息准则用于判断哪个模型比较好,具体计算公式如下:1.AICAIC = -2In(L) + 2k其中L指对应的最大似然函数,k指对应的模型的变量的个数。2.BICBIC = -2In(L...
  • qq_29963353
  • qq_29963353
  • 2018-03-18 14:38:08
  • 111

信息安全-七:可信计算机系统评估准则

可信计算机系统评估准则1983年,美国国防部公布了《可信计算机系统评估准则》TCSEC(Trusted Computer System  Evaluation Criteria),将计算机系统的安全可...
  • yako
  • yako
  • 2004-10-23 13:23:00
  • 7872

独立成分分析ICA系列5:信息极大化的 ICA 算法

1.ICA基本理论再综述 在实际应用中,可以通过传感器得到一系列观测信号,这些观测信号是由未知源信号经过某种混合系统的输出,如在移动通信中,源信号经过发射机天线发出后,在无线信道中经过不确定的混合...
  • shenziheng1
  • shenziheng1
  • 2016-12-15 10:55:31
  • 919
    个人资料
    等级:
    访问量: 1250
    积分: 166
    排名: 107万+
    文章存档
    最新评论