降维
降维是指在某些限定条件下,降低随机变量(特征)个数,得到一组“不相关”主变量的过程
- 降低随机变量的个数
- 相关特征(correlated feature)
- 相对湿度与降雨量之间的相关
- 等等-
正是因为在进行训练的时候,我们都是使用特征进行学习。如果特征本身存在问题或者特征之间相关性较强,对于算法学习预测会影响较大
降维的两种方式
特征选择
定义
数据中包含冗余或相关变量(或称特征、属性、指标等),旨在从原有特征中找出主要特征。
方法
-
Filter
(过滤式):主要探究特征本身特点、特征与特征和目标值之间关联。- 方差选择法:低方差特征过滤
-
Embedded
(嵌入式):算法自动选择特征(特征与目标值之间的关联)- 决策树:信息焕、信息增益
- 正则化:L1、L2
- 深度学习:卷积等
模块
sklearn.feature_selection