百面机器学习总结

一 特征工程
1 特征归一化
为什么对数值类型特征做归一化： 使不同指标之间具有可比性，将所有特征统一到一个大致相同的数值区间内。
常用方法：
①线性函数归一化：使结果映射到【0，1】的范围，对原始数据等比缩放
X_norm = (X-X_max)/(X_max-X_min)
②零-均值归一化：将原始数据映射到均值为0，标准差为1的分布上
z=（X-u）/theta
(通过梯度下降法求解的模型通常是需要归一化的，对决策树不适用，决策树在进行节点分裂时主要依据数据集D关于特征x的信息增益比)

2 类别型特征
①序号编码：通常用于处理类别间具有大小关系的数据。高收入（3），中收入（2），低收入（1）.
②独热编码：处理类别间不具有大小关系的特征。例如男（1，0），女（0，1）。
③二进制编码：先用序号编码赋予每一个类别ID，然后将类别ID对应的二进制编码作为结果。（二进制编码本质上是利用二进制对ID
进行哈希映射，最终得到0/1特征向量，且维数少于独热编码，节省了存储空间）

3 组合特征/高维组合特征的处理
为了提高拟合能力，可将两个特征组成二阶特征。这种组合看起来没有任何问题，但当引入ID类型的特征时，问题就出现了
若用户数量为m，物品数量为n，那么需要学习的参数规模为mn.在互联网环境下，用户数量和物品数量都可以达到千万量级，
几乎无法学习mn规模的参数。 将用户和物品分别用k维的低维向量表示，需要学习的参数规模变为mk+nk。(等价于矩阵分解)

给定原始输入该如何有效地构造决策树？ 采用梯度提升决策树，该方法的思想是每次都在之前构建的决策树的残差上构建下一棵决策树。

4 文本表示模型
①词袋模型和N-gram模型
将整段文本以词为单位切分开，每篇文章可以表示成一个长向量，向量中的每一维代表一个单词，该维对应的权重则反映了这个词在
原文章的重要程度。
TF-IDF(t,d)=TF(t,d)IDF(t);
其中TF(t,d)为单词t在文档d中出现的频率，IDF(t)是逆文档频率
IDF(t)=log（文章总数/包含t的文档总数+1）
通常，可以将连续出现的n(n<=N)个词组成的词组(N-gram)也作为一个单独的特征放到向量表示中去，构成N-gram模型。
②主题模型
③词嵌入与深度学习模型
词嵌入是一类将词向量化的模型的统称，核心思想是将每个词都映射成低维空间（通常K=50-300维）上的一个稠密向量。
如果一篇文档有N个词，就可以用一个NK维的矩阵来表示这篇文档。
深度学习模型为我们提供了一种自动进行特征工程的方式，模型中的每个隐层都可以认为对应着不同抽象层次的特征。

三 经典算法
3 决策树
决策树是一种自上而下，对样本数据进行树形分类的过程，由节点和有向边组成。结点分为内部结点和叶结点，其中每个内部结点
表示一个特征或属性，叶结点表示类别。

将决策树应用集成学习的思想可以得到随机森林，梯度提升决策树等模型。
决策树有哪些常用的启发函数？
ID3 ： 最大信息增益 g(D,A)=H(D)-H(D|A)
C4.5 ：最大信息增益比 gr(D,A)=g(D,A)/Ha(D)
CART ： 最大基尼指数

如何对决策树进行剪枝？
预剪枝，即在生成决策树的过程中提前停止树的增长。 后剪枝，已生成的过拟合决策树上进行剪枝。
预剪枝对于何时停止决策树的生长有以下方法：
1.当树到达一定深度的时候，停止树的生长
2.当到达结点的样本数量小于某个阈值的时候，
3.计算每次分裂时对测试集的准确度提升，当小于某个阈值的时候，不再继续扩展。