葫芦书笔记----特征工程

为什么需要对数值类型的特征做归一化？

一句话速记：为了消除数据特征至今啊的量纲影响，使得不同指标之间具有可比性。

详细版：为了将所有特征都统一到一个大致相同的数值区间内。常用方法有线性函数归一化、零均值归一化。归一化的好处有：在学习率相同的情况下，更容易通过梯度下降找到最优解。但是数据归一化不是万能的，它对于决策树模型并不适用，以为决策树在进行节点分裂时是根据数据集D关于特征x的信息增益比，而信息增益比和特征x是否经过归一化是无关的，因此归一化并不会改变特征上的信息x增益.

 

在对数据进行预处理时，应该怎样处理类别型特征？

类别型特征：主要指性别（男，女）这样只在有限选项内取值的特征。

一句话速记：序号编码、独热编码、二进制编码等。

详细版：序号编码通常用于处理类别间具有大小关系的数据。如成绩可分为高中低，并且存在高》中》低的排序关系。序号编码会按照大小关系对类别型特征赋予一个数值id，例如高为3，中2，低1，转换后依旧保留了大小关系。
独热编码通常用于处理类别间不具有大小关系的特征，对于类别取值较多的情况下使用独热编码需注意以下问题：1.使用稀疏向量来节省空间。  2. 配合特征选择来降低维度。
二进制编码，本质是利用二进制对ID进行哈希映射，最终得到0/1特征向量，且维度少于独热编码，节省了存储空间。

 

什么是组合特征？如何处理高维组合特征？

速记：一阶离散特征两两组合，构成高阶组合特征。对于高维组合特征，可以用低维向量表示。

详细：以逻辑回归为例，假设数据的特征向量为,则有，

其中<xi,xj>表示xi和xj的组合特征，wij的维度等于,|xi|,|xj|分别代表第i各特征和第j个特征不同取值的个数。
在高维时，可以用k维的低维向量表示（k<<m,k<<n）

其中，分别表示xi和xj对于的低维向量。其实这样等价于矩阵分解。

 

如何有效地找到组合特征？

参照决策树的节点选取即可。

 

文本表示模型有哪些？它们各有什么优缺点？

速记：词袋模型（易得，信息较少，没有位置信息）、N-gram模型（较易得，无法解决一词多义，无法识别两个词是否具有相同的主题）、主题模型（可得到每个词与每个主题的相关性，主题个数不好确定）。

 

Word2Vec是如何工作的？它和LDA有什么区别与联系？

速记：CBOW与Skip-gram。区别：在于模型本身，主题模型是一种基于概率图模型的生成时模型，词嵌入模型一般表达为神经网络的形式。联系：某种意义上说，词嵌入的每一维其实可以理解成一个主题。