共线性排查

相关性共线性排除

这个函数 calculate_corr 的目的是计算特征之间的相关系数矩阵，并对相关性高于某个阈值（0.7）的特征对进行处理，以保留信息量更大的特征（通过信息值IV来衡量），IV较小的特征被加入到 corr_exclude_vars 列表中，函数能够有效地减少多重共线性问题，并保留信息量较大的特征。

找变量：和目标变量相关性高，但彼此之间相关性不高的变量

【相关性包含：12种相关系数汇总，别再以为只有皮尔逊了！_相关系数种类-CSDN博客】

非线性相关性

MIC是2011年提出

优点：普适性（数据量大），公平性，对称性，无分布假设前提

应用广泛：如基因表达数据、社交网络数据、金融市场数据等

数据清洗的代码

对于错误值（"inf"、"-inf"、"\\N"、"None"）&占位符（-8887-8888-9999）等替换成np.nan

对于每一列的数据类型进行转换

占位符的含义可能是没有查询到，查询错误(这些是在写数据接入解析代码的时候根据对方的接口文档写的时候去写的)

特征筛选

缺失NA值比例大于0.97

特征重要性和随机数

逻辑回归——stepwise——AIC——筛选变量