随机森林特征个数mtry matlab,基于随机森林的特征选择算法.docx

基于随机森林的特征选择算法

基于随机森林的特征选择算法姚登举１，２，杨静１，詹晓娟３(１．哈尔滨工程大学计算机科学与技术学院，哈尔滨１５０００１；２．哈尔滨理工大学软件学院，哈尔滨１５００４０；３．黑龙江工程学院计算机科学与技术学院，哈尔滨１５００５０)摘要：提出了一种基于随机森林的封装式特征选择算法ＲＦＦＳ，以随机森林算法为基本工具，以分类精度作为准则函数，采用序列后向选择和广义序列后向选择方法进行特征选择。在 ＵＣＩ数据集上的对比实验结果表明，ＲＦＦＳ算法在分类性能和特征子集选择两方面具有较好的性能。关键词：人工智能；随机森林；特征选择；封装式中图分类号：ＴＰ１８文献标志码：Ａ文章编号：１６７１－５４９７(２０１４)０１－０１３７－０５ＤＯＩ：１０．１３２２９／ｊ．ｃｎｋｉ．ｊｄｘｂｇｘｂ２０１４０１０２４ＦｅａｔｕｒｅｓｅｌｅｃｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｒａｎｄｏｍｆｏｒｅｓｔＹＡＯＤｅｎｇ－ｊｕ１，２，ＹＡＮＧＪｉｎｇ１，ＺＨＡＮＸｉａｏ－ｊｕａｎ３(１．ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＨａｒｂｉｎＥｎｇｉｎｅｅｒｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｈａｒｂｉｎ１５０００１，Ｃｈｉｎａ；２．ＳｃｈｏｏｌｏｆＳｏｆｔｗａｒｅ，ＨａｒｂｉｎＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ１５００４０，Ｃｈｉｎａ；３．ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＨｅｉｌｏｎｇｊｉａｎｇＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ１５００５０，Ｃｈｉｎａ)Ａｂｓｔｒａｃｔ：Ａｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｒａｎｄｏｍｆｏｒｅｓｔ(ＲＦＦＳ)ｉｓｐｒｏｐｏｓｅｄ．Ｔｈｉｓａｌｇｏｒｉｔｈｍａｄｏｐｔｓｒａｎｄｏｍｆｏｒｅｓｔａｌｇｏｒｉｔｈｍａｓｔｈｅｂａｓｉｃｔｏｏｌ，ｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｙａｓｔｈｅｃｒｉｔｅｒｉｏｎｆｕｎｃｔｉｏｎ．Ｔｈｅｓｅｑｕｅｎｔｉａｌｂａｃｋｗａｒｄｓｅｌｅｃｔｉｏｎａｎｄｇｅｎｅｒａｌｉｚｅｄｓｅｑｕｅｎｔｉａｌｂａｃｋｗａｒｄｓｅｌｅｃｔｉｏｎｍｅｔｈｏｄｓａｒｅｅｍｐｌｏｙｅｄｆｏｒｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎ．ＴｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｏｎＵＣＩｄａｔａｓｅｔｓｓｈｏｗｔｈａｔｔｈｅＲＦＦＳａｌｇｏｒｉｔｈｍｈａｓｂｅｔｔｅｒｐｅｒｆｏｒｍａｎｃｅｉｎｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｙａｎｄｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎｓｕｂｓｅｔｔｈａｎｔｈｅｏｔｈｅｒｍｅｔｈｏｄｓｉｎｌｉｔｅｒａｔｕｒｅｓ．Ｋｅｙｗｏｒｄｓ：ａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅ；ｒａｎｄｏｍｆｏｒｅｓｔ；ｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎ；ｗｒａｐｐｅｒ０引言图像处理、信息检索以及生物信息学等技术的发展，产生了以超大规模特征为特点的高维数据集。如何有效地从高维数据中提取或选择出有用的特征信息或规律，并将其分类识别已成为当今信息科学与技术所面临的基本问题［１］。特征选择是指从原始特征集中选择使某种评估标准最优的特征子集，以使在该最优特征子集上所构建的分类或回归模型达到与特征选择前近似甚至更好收稿日期：２０１２－０８－２１．基金项目：国家自然科学基金项目６１０７３０４１)；黑龙江省自然科学基金项目(Ｆ２００９０１，Ｆ２０１３１３)；哈尔滨 市科技创新人才研究专项项目(２０１１ＲＦＸＸＧ０１５，２０１０ＲＦＸＸＧ００２，２０１３ＲＦＱＸＪ１１４)；高等学校博士学科点专项科研基金项目(２０１１２３０４１１００１１)．作者简介：姚登举(１９８０－)，男，博士研究生，讲师．研究方向：人工智能，数据挖掘，模式识别． Ｅ－ｍａｉｌ：ｙｄｋｖｉｃｔｏｒｙ＠１６３．ｃｏｍ·１３８·吉林大学学报(工学版)第４４卷的预测精度。Ｄａｖｉｅｓ证明寻找满足要求的最小特征子集是ＮＰ完全问题［２］。在实际应用中，通 常是通过采用启发式搜索算法，在运算效率和特征子集质量间找到一个好的平衡点，即近似最优解。随机森林(Ｒａｎｄｏｍｆｏｒｅｓｔ，ＲＦ)［３］是一种集成机器学习方法，它利用随机重采样技术ｂｏｏｔｓｔｒａｐ和节点随机分裂技术构建多棵决策树， 通过投票得到最终分类结果。ＲＦ具有分析复杂相互作用分类特征的能力，对于噪声数据和存在缺失值的数据具有很好的鲁棒性，并且具有较快的学习速度，其变量重要性度量可以作为高维数据的特征选择工具，近年来已经被广泛应用于各种分类、预测、特征选择以及异常点检测问题中［４－７］。特征选择算法根据所采用的特征评价策略可器，如果把决策树看成分类任务中的一个专家，随 机森林就是许多专家在一起对某种任务进行分类。生成随机