python学习日志 10.8

python学习日志 10.8

现在主要进行有关sk-learn的使用的学习，因此会将一些自己能够理解的概念或者重要的代码记录下来。

归一化和标准化

用于对数据进行无量纲化

from sklearn.preprocessing import MinMaxScaler 
from sklearn.preprocessing import StandardScaler

其中前一种方法对异常值敏感，而后一种不敏感，一般使用零均值标准差的标准化方法

降维

降维的原因：避免相关性较强的特征导致的特征冗余。找出主要特征。

• 方法
• filter 过滤式：
  方差选择法
  相关系数法
• embedded 嵌入式：
  决策树
  正则化
  深度学习

方差选择法

from sklearn.feature_selection import VarianceThreshold

相关系数法

皮尔逊相关系数

如果相关性很高，应该：
选取其中一个
加权组合
主成分分析

主成分分析

from sklearn.decomposition import PCA

参数PCA（n_components=）如果n_components是个小数，表示主成分分析保留百分之多少的信息，如果是个整数则表示保留多少个特征。