机器学习笔记（一）

特征工程

一、特征归一化

线性函数归一化

零均值归一化

意义：未归一化的数据在梯度下降中需要较多的迭代才能找到最优解。

应用：通过梯度下降法求解的模型通常是需要归一化的，包括线性回归、逻辑回归、支持向量机、神经网络，但对于决策树模型则并不适用，决策树在进行节点分裂时主要依据数据集D关于特征x的信息增益比，而信息增益比跟特征是否经过归一化是无关的，因为归一化并不会改变样本在特征x上的信息增益。

二、类别型特征

序号编码

独热编码：使用稀疏向量，特征向量只有某一维取值为 1，其他位置取值均为0

二进制编码

高维度特征会带来的问题：

一是在K 近邻算法中，高维空间下两点之间的距离很难得到有效的衡量；

二是在逻辑回归 模型中，参数的数量会随着维度的增高而增加，容易引起过拟合问题；

三是通常只有部分维度是对分类、预测有帮助

三、文本表示模型

词袋模型：

是将整段文本以词为单位切分开，然后每篇文章可以表示成一个长向量，向量中的每一维代表一个单词，而该维对应的权重则反映了这个词在原文章中的重要程度，常用TF-IDF来计算权重。

公式：TF-IDF(t,d)=TF(t,d)×IDF(t)

（TF(t,d)为单词t在文档d中出现的频率，IDF(t)是逆文档频率，用来衡量单词t对 表达语义所起的重要性）

N-gram模型:：将连续出现的n个词（n≤N）组成的词组（N-gram）也作为一个单独的特征放到向量表示中去

词干抽取处理：将不同词性的单词统一成为同一词干的形式

四、训练数据不足

1.一个模型所能提供的信息，一是训练数据中蕴含的信息；二是在模型的形成过程中人们提供的先验信息。训练数据不足时，就需要更多先验信息

先验信息可以作用在模型上，让模型采用特定的内在结构、条件假设；

先验信息也可以调整、变换或扩展训练数据，以利于后续模型的训练和学习。

2.图像分类任务训练数据不足带来的问题：过拟合

解决方案：

1.简化模型（将非线性模型简化为线性模型）、添加惩罚项

2.数据扩充：

(1）随机旋转、平移、缩放、裁剪、填充、左右翻转

(2）对像素添加噪声扰动，如椒盐噪声、高斯白噪声

(3）颜色变换

(4）改变亮度、清晰度、对比度、锐度

模型评估

• 评估指标

1.准确率和召回率是既矛盾又统一的两个指标

应用：PR曲线

2.F1 score：

3. 均方根误差 RMSE：

4. 平均绝对百分比误差MAPE：

二、ROC曲线

1.ROC曲线的横坐标为假阳性率；纵坐标为真阳性率。P是真实的正样本的数量，N是真实的负样本的数量，TP是P个正样本中 被分类器预测为正样本的个数，FP是N个负样本中被分类器预测为正样本的个 数。

2.绘制ROC曲线的方法：假设正样本数量为P，负样本数量为N；接下来，把横轴的刻度间隔设置为1/N，纵轴的刻度间隔设置为1/P；再根据模型输出的预测概率对样本进行排序（从高到低）；依次遍历样本，同时从零点开始绘制ROC曲线，每遇到一个正样本就沿纵轴方向绘制一个刻度间隔的曲线，每遇到一个负样本就沿横轴方 向绘制一个刻度间隔的曲线，直到遍历完所有样本，曲线最终停在（1,1）这个 点，整个ROC曲线绘制完成。

3.ROC积分面积越大，说明分类器越可能把真正的正样本排在前面，分类性能越好。

4.当正负样本的分布发生变化时，ROC曲线的形状 能够基本保持不变，而P-R曲线的形状一般会发生较剧烈的变化。

三、余弦距离的应用

1.定义：余弦相似度的取值范围是[−1,1]，相同的两个向量之间的相似度为1。将1减去余弦相似度即为余弦距离。因此，余弦距离的取值范围为[0,2]，相同的两个向量余弦距离为0。

向量的模长经过归一化后欧氏距离与余弦距离的关系：

2.欧氏距离体现数值上的绝对差异，而余弦距离体现方向上的相对差异。

3.余弦距离满足正定性和对称性，但是不满足三角不等式，因此它并不是严格定义的距离。

KL距离（相对熵），常用于计算 两个分布之间的差异，但不满足对称性和三角不等式。

四、A/B测试的陷阱

1.进行A/B测试将用户分成实验组和对照组，对实验组施以新模型，对对照组施以旧模型。在分桶的过程中，要注意样本的独立性和采样方式的无偏性

2.需要进行在线A/B测试的原因：

离线评估无法完全消除过拟合

离线评估无法完全还原线上的工程环境，如延迟、数据丢失、标签数据缺失等

线上系统的某些商业指标在离线评估中无法计算

五、模型评估的方法

Holdout 检验：70% 的样本用于模型训练；30% 的样本用于模型验证

k-fold交叉验证：将全部样本划分成k个大小相等的样本子集；依次遍历这k个子集，每次把当前子集作为验证集，其余所有子集作为训练集，最后把k次评估指标的平均值作为最终的评估指标

留一验证：每次留下1个样本作为验证集，其余所有样本作为测试集。样本总数为n，依次对n个样本进行遍历，进行n次验证，再将评估指标求平均值得到最终的评估指标。样本总数较多时，时间开销极大（留p验证：每次留下p个样本作为验证集，而从n个元素中选择p个元素有 Cnp种可能，时间开销更高）

自助法: 总数为n的样本集合，进行n次有放回的随机抽样，得到大小为n的训练集。n次采样过程中，有的样本会被重复采样，有的样本没有被抽出过，将这些没有被抽出的样本作为验证集

在自助法的采样过程中，对n个样本进行n次自助抽样，当n趋于无穷大时, 大约有36.8%的样本从未被选择过，可作为验证集

六、超参数调优

网格搜索：查找搜索范围内的所有的点来确定最优值（采用较大的搜索范围以及较小的步长，十分消耗计算资源和时间；使用较广的搜索范围和较大的步长，由于目标函数一般是非凸的，所以很可能会错过全局最 优值）

随机搜索：在搜索范围中随机选取样本点（结果没法保证）

贝叶斯优化算法：根据先验分布，假设一个搜集函数；然后每一次使用新的采样点来测试目标函数时，利用这个信息来更新目标函数的先验分布；最后，算法测试由后验分布给出的全局最值最可能出现的位置的点。（一旦找到一个局部最优值，它会在该区域不断采样，很容易陷入局部最优值。为了弥补缺陷，贝叶斯优化算法会在探索和利用之间找到一个平衡点，“探索”就是在还未取样的区域获取采样点；而“利用”则是根据后验分布在最可能出现全局最值的区域进行采样。）

七、过拟合与欠拟合

1.降低“过拟合”风险：

获得更多的训练数据，如可以使用生成式对抗网络来合成大量的