youif的博客

06 Word2Vec场景描述谷歌2013年提出的Word2Vec是目前最常用的词嵌入模型之一。Word2Vec实际 是一种浅层的神经网络模型，它有两种网络结构，分别是CBOW（Continues Bag of Words）和Skip-gram。知识点Word2Vec，隐狄利克雷模型（LDA），CBOW，Skip-gram问题 Word2Vec是如何工作的？它和LDA有什么区别与联系？分析与解答CBOW的目标是根据上下文出现的词语来预测当前词的生成概率，如图 1.3（a）所示；而Skip-gr

05 文本表示模型场景描述文本是一类非常重要的非结构化数据，如何表示文本数据一直是机器学习领 域的一个重要研究方向。知识点词袋模型（Bag of Words），TF-IDF（Term Frequency-Inverse Document Frequency），主题模型（Topic Model），词嵌入模型（Word Embedding）问题 有哪些文本表示模型？它们各有什么优缺点？分析与解答■ 词袋模型和N-gram模型最基础的文本表示模型是词袋模型。顾名思义，就是将每篇文章看成一袋子 词，

04 组合特征场景描述上一节介绍了如何利用降维方法来减少两个高维特征组合后需要学习的参 数。但是在很多实际问题中，我们常常需要面对多种高维特征。如果简单地两两 组合，依然容易存在参数过多、过拟合等问题，而且并不是所有的特征组合都是 有意义的。因此，需要一种有效的方法来帮助我们找到应该对哪些特征进行组 合。知识点:组合特征问题 :怎样有效地找到组合特征？分析与解答本节介绍一种基于决策树的特征组合寻找方法[1]（关于决策树的详细内容可见 第3章第3节）。以点击预测问题为例，假设原始输入特征包含年龄、

03 高维组合特征的处理知识点组合特征问题 什么是组合特征？如何处理高维组合特征？分析与解答为了提高复杂关系的拟合能力，在特征工程中经常会把一阶离散特征两两组 合，构成高阶组合特征。以广告点击预估问题为例，原始数据有语言和类型两种 离散特征，表1.2是语言和类型对点击的影响。为了提高拟合能力，语言和类型可 以组成二阶特征，表1.3是语言和类型的组合特征对点击的影响。以逻辑回归为例，假设数据的特征向量为X=(x1,x2,…,xk)，则有，其中<xi, xj>表示xi和xj

02 类别型特征场景描述类别型特征（Categorical Feature）主要是指性别（男、女）、血型（A、B、AB、O）等只在有限选项内取值的特征。类别型特征原始输入通常是字符串形式，除了决策树等少数模型能直接处理字符串形式的输入，对于逻辑回归、支持向量机等模型来说，类别型特征必须经过处理转换成数值型特征才能正确工作。知识点序号编码（Ordinal Encoding）、独热编码（One-hot Encoding）、二进制编码（Binary Encoding）问题 在对数据进行预处理时，应该怎样

01 特征归一化为了消除数据特征之间的量纲影响，我们需要对特征进行归一化处理，使得不同指标之间具有可比性。例如，分析一个人的身高和体重对健康的影响，如果使用米（m）和千克（kg）作为单位，那么身高特征会在1.6～1.8m的数值范围内，体重特征会在50～100kg的范围内，分析出来的结果显然会倾向于数值差别比较大的体重特征。想要得到更为准确的结果，就需要进行特征归一化（Normalization）处理，使各指标处于同一数值量级，以便进行分析。知识点特征归一化问题 为什么需要对数值类型的特征做归一化？