百面机器学习-特征工程

提取原始数据的特征，作为输入供算法和模型使用。实际工作中特征工程是去除原始数据中的杂质和冗余，设计更加高效的特征以求刻画求解的问题与预测模型之间的关系。
原始数据包括结构化数据和非结构化数据，前者类似于一个表，后者指代的是图像文本语音等。

1.特征归一化

包含归一化和标准化。
对数值类型的特征做归一化，可以将所有的特征都统一到一个大致数值相同的区间。若不归一化，因为数值区间不同会导致对模型的影响程度不同。例如：梯度下降算法，区间大的值则会更新快一点。

2.类别特征

类别特征原始输入都是字符串型需要进行处理。
1.序号编码：处理具有大小关系的数据进行编码。
2.独热编码（one-hot编码）：处理不具有大小关系的数据。使用稀疏向量来节省空间，配合特征选择来降低维度。
3.二进制编码：先进行序号编码再进行二进制编码。

3.高维组合特征处理

组合特征：
为了提高复杂关系的拟合能力，在特征工程中经常会把一阶离散特征两两组合，构成高阶组合特征。
高维特征计算大因此我们需要降维，通过矩阵分解或者特征筛选。

4.组合特征

如何找到有效的组合特征：基于决策树的特征组合寻找方法。每一条从根节点到叶节点的路径都可以看作成一种特征组合的方式。

5.文本表示模型

文本时一类非常重要的非结构化数据，如何表示文本数据一直是机器学习领域的一个重要研究方向。
文本表示模型：
词袋模型：整段文本以词为单位分开，然后每篇文章表示成一个长向量，向量中的每一维代表一个单词，而该维对应的权重则反映了这个词在原文章中的重要程度。

6.Word2Vec

词嵌入模型。是一种浅层的神经网络模型。

7.图像数据不足时的处理办法

数据增强，生成对抗网络，上采样技术