机器学习特征值转换(使用spark.ml)

pyspark.ml.feature 下有很多处理特征的方法。

在处理特征值时，有一个归化（缩放）的概念，将特征值转换到 量度统一的范围内。

这里介绍几种方法：

1.MinMaxScaler

将数据缩放至给定的最小值与最大值之间，通常是０与１之间

2.MaxAbsScaler

最大的绝对值缩放至单位大小。但是它通过除以最大值将训练集缩放至[-1,1]。这意味着数据已经以０为中心或者是含有非常非常多０的稀疏数据。

3.StandardScaler

当个体特征太过或明显不遵从高斯正态分布时，标准化表现的效果较差。实际操作中，经常忽略特征数据的分布形状，移除每个特征均值，划分离散特征的标准差，从而等级化，进而实现数据中心化。