赤池信息量准则(转)
(2012-04-13 12:13:27)标签: 杂谈 |
赤池信息量准则(Akaike
AIC
在一般的情况下,AIC可以表示为:
其中:K是参数的数量,L是似然函数。
假设条件是模型的误差服从独立正态分布。
让n为观察数,RSS为剩余平方和,那么AIC变为:
增加自由参数的数目提高了拟合的优良性,AIC鼓励数据拟合的优良性但是尽量避免出现过度拟合(Overfitting)的情况。
所以优先考虑的模型应是AIC值最小的那一个。赤池信息量准则的方法是寻找可以最好地解释数据但包含最少自由参数的模型。
AICc和AICu
在样本小的情况下,AIC转变为AICc:
当n增加时,AICc收敛成AIC。所以AICc可以应用在任何样本大小的情况下(Burnham
McQuarrie
他们提出的另一个紧密相关指标为AICu:
QAIC
QAIC(Quasi-AIC)可以定义为:
其中:c是方差膨胀因素。因此QAIC可以调整过度离散(或者缺乏拟合)。
在小样本情况下,
.
参考文献
Akaike,
Burnham,
--------,
Hurvich,
McQuarrie,
准确建立VAR模型的关键在于滞后期数的确定,在实际应用中,一方面希望滞后期p足够大,可以更加完整的反映构造模型的动态特征;但另一方面,滞后期越长,模型中待估参数越多,损失的自由度也越多。因此,在滞后期和自由度之间寻找一个均衡点,一般根据AIC和SC信息量取值最小的准则来确定模型的滞后阶数。根据多次的实际测算,最后确定滞后阶数为4,模型设定为VAR(4),采用OLS得到估计式如下,模型整体拟合程度较好。
对模型进行稳定性检验以及残差自相关检验,结果显示模型稳定且整体拟合度较高,各扰动项不与自己的滞后值相关,模型拟合效果良好,可以作为进一步分析的依据。
单位根检验与协整分析
在对时间序列进行分析时,传统上要求数据是平稳的,即没有随机趋势或确定性趋势,如果用非平稳的时间序列变量进行回归,会出现“伪回归”现象。但是,现实经济中的时间序列往往是非平稳的,为了使回归有意义,对时间序列实行平稳化处理,方法是对其进行差分后再回归,但这样做的缺点是会失去原序列中的有用信息,而这些信息对问题分析又是必须的。Enger和Granger提出的协整方法很好的解决了这个问题,而协整分析需要进行单位根检验。单位根检验的方法很多,如DF方法、ADF方法,PP方法,本文采用ADF方法。
我们对各变量进行ADF检验,经过多次尝试,选择最佳滞后期和检验形式,得到单位根结果如表2。从表2可以看出,在1%的显著性水平下,所有变量序列的水平项都是非平稳序列;经过一阶差分以后,在0.01的显著性水平上都是平稳的,故它们都是一阶单整I(1),可以在此基础上进行协整检验。
由于VAR模型对滞后期的选择比较敏感,故先采用AIC或SC最小原则确定最佳滞后期。在滞后期数确定滞后,再对协整中是否具有常数项和时间趋势项进行验证,然后对数据进行协整检验,得到的结果如表3。从表3可以看出,GDP与两个协整方程,变量之间存在着长期的均衡关系。通过对各协整方程残差进行ADF检验,结果显示残差为平稳序列,也证明了经济增长与传统服务出口份额、传统服务进口份额之间存在着协整关系。
AIC准则是赤池信息准则,该项准则运用下式的统计量评价模型的好坏:AIC=-2L/n+2K/n,其中L是对数似然值,n是观测值数目,k是被估计的参数个数,AIC的准则要求其越小越好。
因为,AIC的大小取决于L和k。k取值越小,AIC越小;L取值越大,AIC值越小。k笑意味着模型简洁,L大意味着模型精确。因此AIC和修正的决定系数类似,在评价模型是兼顾了简洁性和精确性。
赤池信息量准则(http://en.wikipedia.org/wiki/Akaike_information_criterion)
AIC和BIC是同一个指标,一般用于选择模型,也就是模型的比较优劣
他们的不同之处在于
AIC=-2
BIC=-2
HQ=-2
构造这些统计量所遵循的统计思想是一致的,就是在考虑拟合残差的同时,依自变量个数施加“惩罚”。
但,倘若因此就说它们是同一个指标,恐怕还是有些不妥,毕竟“惩罚”的力度还是不尽相同的。
此外,这些信息量的用途不仅限于选择模型,还能用于选取合适的变换等等。而在那些时候,这些信息量又是另一个模样,也就是说它们有许多变体。因此,它们也被称为AIC准则、BIC准则等等。它们中的每一个体现的都是一系列的标准,而非单独的一个简单式子。
20世纪50年代,统计检测理论发展很快,米德尔顿等人用最小平均风险准则(贝叶斯准则)来处理最佳接受问题,使检测理论发展到一个新阶段,并使各种准则统一于风险理论。
http://wapedia.mobi/zh/赤池信息量准则?t=4.
http://www.garfield.library.upenn.edu/classics1981/A1981MS54100001.pdf
Akaike信息准则
Akaike的信息准则开发
AIC不是对模型的一个测试在假说感觉测试,宁可它是一个工具为
定义
在一般案件,
那里
在这个词条剩下的人,它假设,通常和独立地分布式样错误。
残差平方和.
增加将估计的自由参量的数量在引起过程的数据改进吻合度,不管自由参量的数量。
AIC根据怎样判断一个模型接近它的适合的价值倾向于是到真实值,根据有些期待值。
AICc和AICu
AICc是AIC以二次更正为小样本大小,开始以:
因为AICc聚合对AIC
mcQuarrie和Tsai
并且提议(p。
McQuarrie和Tsai在广泛的模仿工作研了AICc和AICu他们的高看法。
QAIC
QAIC
那里
参考
akaike,
Burnham,
--------
Hurvich,
McQuarrie,
参见
贝叶斯信息准则
偏差
偏差信息准则
Hannan昆因信息准则
Jensen-Shannon分歧
Kullback-Leibler分歧
Occam的剃刀
外部链接
Hirotogu
自回归模型的阶数根据赤池信息量准则
在时间序列分析时,AIC
权衡所估计模型的复杂度和此模型拟合数据的优良性。
赤池信息量准则(Akaike
协整(Cointegration)检验一般通过EG(Engle
这种方法的原理是在VAR系统下用极大似然估计来检验多变量之间协整关系,因此在进行Johnsen协整检验前必须要确定VAR模型的最后滞后期k,如果k太小,误差项的自相关会非常严重,这会导致被估参数的非一致性,所以可以通过增加k来消除误差项中存在的自相关。但是,k又不能够太大,因为如果k太大会导致自由度减小,并直接影响到被估参数的有效性(最优??)
!!!利用AIC(赤池)信息准则和SC(舒瓦茨)准则可以确定滞后阶数k(k过大,自由度降低。k过小,误差项自相关较严重)。方法是两个准则最小的模型的阶数为最佳滞后阶数。如果两个准则出现不一致,则需要利用似然比检验来选择模型。构建LR统计量(似然比统计量)
由于滞后阶数选择过大会损失自由度,所以对于最大滞后阶数的选择,效仿Saikkonen和Lutkepohl(1996)的做法,将考虑的最大阶
四变量的VAR模型滞后阶数不同时,AIC、SC、LogL和LR的结果如表所示。
单位根检验与协整分析
在对时间序列进行分析时,传统上要求数据是平稳的,即没有随机趋势或确定性趋势,如果用非平稳的时间序列变量进行回归,会出现“伪回归”现象。但是,现实经济中的时间序列往往是非平稳的,为了使回归有意义,对时间序列实行平稳化处理,方法是对其进行差分后再回归,但这样做的缺点是会失去原序列中的有用信息!!!!!!而这些信息对问题分析又是必须的。Enger和Granger提出的协整方法!!!!!!很好的解决了这个问题,而协整分析需要进行单位根检验。单位根检验的方法很多,如DF方法、ADF方法,PP方法,本文采用ADF方法。
我们对各变量进行ADF检验,经过多次尝试,选择最佳滞后期和检验形式,得到单位根结果如表2。从表2可以看出,在1%的显著性水平下,所有变量序列的水平项都是非平稳序列;经过一阶差分以后,在0.01的显著性水平上都是平稳的,故它们都是一阶单整I(1),可以在此基础上进行协整检验。
由于VAR模型对滞后期的选择比较敏感,故先采用AIC或SC最小原则确定最佳滞后期。在滞后期数确定滞后,再对协整中是否具有常数项和时间趋势项进行验证,然后对数据进行协整检验,得到的结果如表3。从表3可以看出,GDP与两个协整方程,变量之间存在着长期的均衡关系。通过对各协整方程残差进行ADF检验,结果显示残差为平稳序列,也证明了经济增长与传统服务出口份额、传统服务进口份额之间存在着协整关系。
http://wenda.tianya.cn/wenda/thread?tid=684db6d5eb01c26a
为了将上述两模型作比较,我们分别对两模型作标准化残差对新息分布的QQ
4
本文对标准的GARCH
在联合广义线性模型中,散度参数与均值都被赋予了广义线性模型的结构,本文主要考虑在只有分布的一阶矩和二阶矩指定的条件下,联合广义线性模型中均值部分的变量选择问题。本文采用广义拟似然函数,提出了新的模型选择准则(EAIC);该准则是Akaike信息准则的推广。
极大似然估计与AIC准则联合建模
张文泉 李泓泽
摘 要 将极大似然估计与AIC准则有机结合进行回归模型建模。这样不仅可省去一般回归模型建模时繁杂的模型检验工作,而且还可快速有效地同时估计模型参数和确定模型阶数。最后用实例验证本方法的实用性和正确性。
美国堪萨斯大学助理教授何和平博士来我院做学术讲座作者:
应统计学院邀请,美国堪萨斯大学数学系助理教授何和平博士在统计学院学术报告厅为全院师生做了一场《统计论坛》学术报告会,报告会题目为:《拟似然函数——修正的轮廓似然估计法在模型选择中的应用》,论坛由晏艳阳院长主持。
何和平博士的研究成果在世界公认顶级权威刊物“Annals
在学术报告中,何和平博士首先简单介绍了轮廓似然估计的基本理论及其存在的不足;然后详细介绍了什么是修正轮廓似然估计及其优良性,并着重介绍了他对修正的轮廓似然方法在模型选择中的突破性扩展,即把修正的轮廓似然函数看成是各个模型本身的函数,而不再把它看成是各个模型中所含参数的函数,模型中的参数都被视为讨厌参数,通过适当的方法消除其对修正的轮廓似然函数的影响,然后选择使得修正的轮廓似然函数达到最大值的模型为真正的模型;最后,何和平博士还展示了这种模型选择方法在location-scale模型选择中的应用,即利用该方法对极为相似的标准正态分布和标准柯西分布进行选择,通过随机模拟表明该方法具有AIC准则的收敛速度较快和BIC准则的相合性的优点,且中等样本容量(样本容量为10左右)时模型选择的正确率也非常高。何博士还展望了他未来的研究重点——把这种模型选择法推广到指数分布族、正则模型、回归模型、突变点问题及AR和ARMA等时间序列模型的选择中去。
报告结束后,何和平博士还就学院师生提出的相关问题进行了解答和讨论,并和大家分享了他从事学术研究工作的心得体会,使广大师生受到了很大的启发和鼓舞。