特征提取、转换和选择

一、特征提取

1.1、TF-IDF

1.2、Word2Vec

1.3、 计数向量器

二、特征转换

  在机器学习中，数据处理是一件比较繁琐的事情，需要对原有特征做多种处理，如类型转换、标准化特征、新增衍生特征等等，需要耗费大量的时间和精力编写处理程序, Spark ML包中提供了很多现成转换器，例如：StringIndexer、IndexToString、OneHotEncoder、VectorIndexer，它们提供了十分方便的特征转换功能，这些转换器类都位于org.apache.spark.ml.feature包下。

2.1、分词器

2.2、 移除停用词

2.3、 n-gram

2.4、 二值化

2.5、 主成分分析

2.6、 多项式展开

2.7、 离散余弦变换

2.8、 字符串－索引变换

2.9、 索引－字符串变换

2.10 独热编码(OneHotEncoder (Deprecated since 2.3.0))

2.11 向量－索引变换(VectorIndexer)

2.12 交互式

2.13、 归一化、规范化、正则化

• 正则化
• 规范化(StandardScaler)
• 最大值－最小值缩放
• 最大值－绝对值缩放

2.14、 离散化重组

2.15、 元素乘积

2.16、 SQL转换器

2.17、 向量汇编（VectorAssembler）

2.18、 分位数离散化

三、特征选择

  特征选择（Feature Selection）是从特征向量中选择那些更有效的特征，组成新的、更简单有效的特征向量的过程。它在数据分析中常用使用，尤其在高维数据分析中，可以剔除冗余或影响不大的特征，提升模型的性能。

3.1、 向量机

3.2、 R公式

3.3、 卡方特征选择