Spark Mllib数据挖掘入门九——特征提取和转换

与数据降维相同，特征提取和转换也是处理大数据的一种常用方法和手段，其目的是创建新的能够代替原始数据的特征集，更加合理有效地展现数据的重要内容。特征提取指的是由原始数据集在一定算法操作后创建和生成的新的特征集，这种特征集能够较好地反映原始数据集的内容，同时在结构上大大简化。
MLlib中目前使用的特征提取和转换方法主要有TF-IDF、词向量化、正则化、特征选择等。

1.TF-IDF

MLlib中使用TF-IDF算法作为文本特征提取算法。常用的关键词搜索就采用了一个非常简单的搜索算法，即本节中需要介绍的TF-IDF算法。
一般认为，一篇文章的关键词是其在文章中出现最多的词，因此关键词提取一个最简单的思路就是提取在文章中出现最多的词，即“词频”（Term Frequency, TF）的提取。
用统计语言表示，对所提取的每个词可以分配一个权重用于表示其重要性程度，一般情况下，常见词作为关键词所分配的权重较小，而不常见的词作为关键词分配的权重较大。这个权重叫做“逆文档频率”（Inverse Document Frequency, IDF），它的大小与一个词的常见程度成反比。

2.词向量化工具

现实中的语言文本问题要转化为机器学习或数据挖掘的问题，第一步肯定是要找一种方法把这些符号数字化，即要将语言文本翻译成机器能够认识的语言。
计算机在处理海量的文本信息时，一个重要的处理方法就是将文本信息向量化表示，即将每个文本中包含的词语进行向量化存储。
MLlib中为了能够处理海量的文本，采用的是一种低维向量的方法来表示词组。这样做的最大的好处是，对于选定的词组在向量空间中能够更加紧密地靠近，从而对文本特征提取和转换提供好处。

3.卡方检验

卡方检验是用途非常广泛的一种假设检验方法，它在分类资料统计推断中一般用于检验一个样本是否符合预期的一个分布。其计算原理就是，把待测定的数据分布分成几个互不相交的区域，每个区域的理论概率可知，之后查看测定结果值落在这些区域的频率，是否跟理论概率差不多。
一般来说卡方检验就是统计样本的实际观测值与理论推断值之间的偏离程度，实际观测值与理论推断值之间的偏离程度就决定了卡方值的大小。卡方值越大，越不符合，偏差越小，卡方值就越小，越趋于符合，若量值完全相等时，卡方值就为0，表明理论值完全符合。