筛数方法相关系数_Spearman相关系数的变量筛选方法

摘要：

随着科学技术的发展,高维数据在科学研究各方面越来越普遍,例如在基因遗传学,金融,图像处理等方面普遍存在着高维数据.由于现有模型或者方法不能有效处理超高维数据,因此需要对超高维数据进行一定的降维,以便能够利用现有模型或者方法进行处理,因而变量筛选或者选择是分析和处理高维数据的关键一步.本论文的研究工作主要有以下两个方面:1.首先指出了传统变量选择方法面对高维数据的不足,并给出了传统变量选择方法的统一形式.然后详细介绍了两种高维数据变量筛选方法:SIS(sure independent screening)方法和RRCS(robust rank correlation screening)方法,最后介绍了其它高维数据变量筛选方法的研究现状.2.对三种常见相关系数进行系统全面的比较和总结,并提出一种基于Spearman相关系数的变量筛选方法,它是基于Pearson相关系数的SIS方法与基于Kendallτ相关系数的RRCS方法的有力补充与完善.Spearman变量筛选方法相比SIS方法具有以下三方面的优势:(1)在更弱的条件下,能够使得确定性筛选性质(sure screening property)成立;(2)Spearman变量筛选方法能够处理除了线性模型外更广泛的模型(如转移模型)的变量筛选问题;(3)示性函数,U-统计量以及Copula理论的引入使得证明过程大大简化.第3章给出数值模拟研究,相比于SIS方法和RRCS方法,在线性模型下有着相差不大的良好表现,在非线性模型下有着更好的表现.最后给出了Spearman变量筛选方法的结论,概述本论文所获得的主要研究成果,并指出进一步的研究问题和方向.

展开