机器学习中Spark数据处理和Embedding技术的区别与联系

1、Spark数据处理

Spark 的数据处理主要用处是将原始数据转换成适合机器学习模型使用的格式。

这通常包括数据清洗、特征编码、特征组合等步骤。

数据处理的结果通常是高维稀疏向量，这些向量可以作为机器学习模型的输入。

2、Embedding技术

Embedding 技术旨在将高维稀疏向量转换为低维稠密向量，以捕捉原始数据中的潜在联系，并提高特征向量的表达力。

例如word2Vec训练过程:

• 使用大量的训练数据，通过迭代训练过程来学习每个词语或物品的低维稠密向量表示。
• 训练的目标是最大化正确预测上下文单词的概率或其他相关目标。
• 训练完成后，每个词语或物品都有一个低维稠密向量表示，这些向量能够反映词语之间的语义关系或物品之间的相似性。

3、区别与联系

区别：

• Spark 数据处理:

  • 目的是将原始数据转换为适合机器学习模型使用的格式。
  • 结果通常是高维稀疏向量，这些向量可以直接用于机器学习模型。

• Embedding 技术:

  • 目的是学习低维稠密向量表示，这些向量能够更好地捕捉数据中的潜在联系。
  • 结果是低维稠密向量，这些向量具有更强的表达力，并且能够捕捉更多我们可能注意不到的潜在联系。

联系：

• 数据预处理 是 Embedding 技术的一个前置步骤。
• 高维稀疏向量 是 Embedding 技术的输入。
• 低维稠密向量 是 Embedding 技术的输出，这些向量通常具有更好的表达能力和更丰富的信息。

综上所述，Spark的数据处理结果是直接从原始数据中提取出的高维稀疏向量，Embedding技术是将这种初步加工过的高维稀疏向量转化成低维稠密向量，使特征向量具有更强的表达力，并且会捕捉更多我们注意不到的潜在联系。