Spark MLlib 特征工程系列—特征转换VectorAssembler

Spark MLlib 特征工程系列—特征转换VectorAssembler

VectorAssembler是一种转换器，可将给定的列表组合成单个向量列。它可用于将原始特征和由不同特征转换器生成的特征组合成单个特征向量，以便训练逻辑回归和决策树等 ML 模型。VectorAssembler接受以下输入列类型：所有数字类型、布尔类型和向量类型。在每一行中，输入列的值将按指定顺序连接成一个向量

这个工具在构建机器学习模型时非常有用，尤其是在你有多个特征列并希望将它们合并为一个特征向量时。

1. VectorAssembler 的作用

VectorAssembler 的主要作用是将各种数据类型的列（数值型、向量型等）组合成一个向量列，这样可以直接作为机器学习模型的输入。它可以接受以下类型的输入列：

• 数值型列（Numeric Columns）：单个数值列将作为向量的一部分。
• 向量型列（Vector Columns）：已经是向量形式的列会直接合并到结果向量中。

2. 使用场景

在机器学习模型的训练过程中，特征通常需要以向量的形式输入模型。如果数据集中存在多个特征列，VectorAssembler 可以将这些列组合成一个向量列，这样模型可以一次性处理所有特征。

假设我们有一个 DataFrame，其列为id、hour、mobile、userFeatures和clicked：

id | hour | mobile | userFeatures     | clicked
----|------|--------|------------------|---------
 0  | 18   | 1.0    | [0.0, 10.0, 0.5] | 1.0

userFeatures是一个包含三个用户特征的向量列。我们希望将hour、mobile、 userFeatures组合成一个features 特征列，并使用它来预测clicked是否。如果我们将VectorAssembler的输入列设置为hour、mobile和 ，userFeatures并将输出列设置为features，则在转换后我们应该得到以下 DataFrame：

 id | hour | mobile | userFeatures     | clicked | features
----|------|--------|------------------|---------|-----------------------------
 0  | 18   | 1.0    | [0.0, 10.0, 0.5] | 1.0