Spark MLlib 特征工程系列—特征提取 TF-IDF

Spark MLlib 特征工程系列—特征提取 TF-IDF

TF-IDF是文本挖掘中广泛使用的一种特征向量化方法，用于反映术语对语料库中文档的重要性。

Term Frequency (TF)

TF，即词频，是衡量一个词在文档中出现频率的指标。假设某词在文档中出现了( n )次，而文档总共包含( N )个词，则该词的TF定义为：

Inverse Document Frequency (IDF)

IDF，即逆文档频率，是对词普遍性的度量，反映了词的稀有程度。IDF越高，说明词越独特，对于区分文档具有更大的价值。IDF的计算公式为：

如果我们仅使用词频来衡量重要性，很容易过分强调那些出现频率很高但几乎不包含文档信息的术语，例如“a”、“the”和“of”。如果某个术语在整个语料库中出现的频率很高，则意味着它不包含有关特定文档的特殊信息。逆

由于使用了对数，如果某个术语出现在所有文档中，则其 IDF 值变为 0。请注意，应用了平滑项以避免语料库之外的术语除以零。 通过取对数，可以避免数值过大的问题，同时保证了IDF的单调递减特性。

TF-IDF 度量只是 TF 和 IDF 的乘积：词频和文档频率的定义有多种变体。在 MLlib 中，我们将 TF 和 IDF 分开，以使其更加灵活

分词 Tokenizer

import org.apache.spark.ml.feature.{HashingTF, IDF, Tokenizer}

val sentenceData = spark.createDataFrame(Seq(
  (0.0, "Hi I heard about Spark"),
  (0.0, "I wish Java could use case classes"),
  (1.0, "Logistic regression models are neat")
)).toDF("label", "sentence")

val tokenizer = new Tokenizer().setInputCol("sentence").setOutputCol("words")
val wordsData = tokenizer.transform(sentenceData)
wordsData.show()

TF 实现

特征提取 HashingTF

HashingTF 是 Apache Spark 中用于文本处理的一个特征转换器，属于 Spark MLlib 中的特征工程工具。它的主要作用是将一个词语序列（通常是一个文档中的词汇）转换为一个固定长度的特征向量。

这个方法依赖于“哈希技巧”（hashing trick），这种方法通过将词语或特征映射到一个固定长度的向量空间中来实现特征表示。具体来说，它使用哈希函数将每个词语转换成一个索引位置，并在这个索引位置上累加词语的出现次数，从而生成一个固定长度的稀疏向量。可以在处理高维度、海量词汇表时提供高效的维度缩减。

具体原理：

​ 1. 输入数据：假设我们有一组文本数据，这些文本经过分词后形成一个词语列表（或词袋模型），如 [“spark”, “is”, “great”, “spark”, “is”]。

​ 2. 哈希函数：HashingTF 使用一个哈希函数将每个词语映射到一个特定的整数索引位置。哈希函数可以是任何能够将输入映射到固定大小范围内的函数。

例如，对于词语 “spark”，哈希函数可能会将其映射到特征向量的第 5 个位置（假设使用 20 维特征向量，即 numFeatures = 20），而 “great” 可能被映射到第 12 个位置。

​ 3. 特征向量生成：

​ • HashingTF 创建一个大小为 numF