可行路线及分析
2020年9月我和室友参加“华为杯”第十七届中国研究生数学建模竞赛并选择B赛题,其中问题二是关于高维数据的变量选择。该题要求选择变量要具有代表性和独立性,因此我们可知:
要求:变量显著、变量独立;
路线:模型选择+变量选择、纯变量选择。
这个路线是我们解决问题的关键。在实践过程中,我们三人都进行了尝试,发现这两种路线各有优劣。
模型选择+变量选择:已知模型选择会导致变量选择结果,因此我们可以先选定一个合适的模型,进而在这个模型基础上进行变量选择,其中变量选择方法有向前向后回归、正则化等。
优:同时完成建模和变量选择。
劣:模型选择增加工作量、模型变化影响变量选择、选择的变量独立性较弱(向前向后回归、正则化等方法)。
纯变量选择:先进行变量选择,至于后续模型,到时候根据筛选出来的变量再进行选择和估计。
优:不影响后续建模,模型可自由选择。
劣:因子分析(FC)、随机森林等方法选出的变量不够显著,有时也不够相对独立。
最终方法
后来,我们想到一种基于边际贡献度最大的选择变量方法,然后在网上查找是否有相关研究,发现一篇2015年常晋源老师发表的论文《Local Independence Feature Screening For Nonparametric And Semiparametric Models By Marginal Empirical Likelihood》。这篇论文真的特别有意思,感想颇多。
结合这篇论文,我们决定用这个方法去选择变量。为了方便解释