spark(60) -- SparkMllib -- 基于SparkMllib数据特征工程构建过程

1. SparkMllib特征工程构建过程

• 提取：从“原始”数据中提取要素
• 转换：缩放，转换或修改功能
• 选择：从更大的功能集中选择子集

2. SparkMllib特征提取操作实践

2.1 TF-IDF

 词频－逆向文件频率（TF-IDF）是一种在文本挖掘中广泛使用的特征向量化方法，它可以体现一个文档中词语在语料库中的重要程度。
 词语由t表示，文档由d表示，语料库由D表示。词频TF(t,d)是词语t在文档d中出现的次数。文件频率DF(t,D)是包含词语的文档的个数。

 如果我们只使用词频来衡量重要性，很容易过度强调在文档中经常出现而并没有包含太多与文档有关的信息的词语，比如“a”，“the”以及“of”。如果一个词语经常出现在语料库中，它意味着它并没有携带特定的文档的特殊信息。逆向文档频率数值化衡量词语提供多少信息：

 其中，|D|表示是语料库中的文档总数。由于采用了对数，如果一个词出现在所有的文件，其IDF值变为0。