百面机器学习-模型评估

只有选择与问题相匹配的评估方法，才能快速发现模型选择或者训练过程中出现的问题。

1.评估指标的局限性

准确率的局限性：
分类正确的样本占总样本个数的比例。
不同类别样本比例不均衡时，会影响准确率。
精确率与召回率的权衡
精确率是指分类正确的正样本个数占分类器判定为正样本的样本个数的比例。
召回率是指分类正确的正样本个数占真正正样本个数的比例。
PR曲线横轴是召回率，纵轴是精确率。
F1分数是精确率和召回率的调和平均数。
平方根误差的意外
RMSE经常被用来衡量回归模型的好坏。一般情况下RMSE能够很好的反应回归模型预测值与真实值的偏离程度，但是在实际问题中，如果个别偏离程度非常大的离群点时，即使离群点非常少，也会使得RMSE指标变得很差。
==存在噪声点。==解决办法在数据预处理的时候就剔除这些噪声点。若不是噪声点则需要提高模型的预测能力，将离群点产生的机制建模进去。可以找到一个更合适的指标来评估该模型。

2.ROC曲线

经常作为评估二值分类器最重要的指标之一。
ROC曲线的横坐标为假阳性率，纵坐标为真阳性率。
==横坐标：==假阳性率：负样本被预测为正与真实负样本的比例
==纵坐标：==正阳性率：正样本被分类为正与真实为正样本的比例。
计算AUC
AUC指的是ROC曲线下的面积大小，该值能够量化地反映基于ROC曲线衡量出模型的性能。

ROC和PR曲线的特点
正负样本比例发生变化，ROC曲线的形状基本保持不变，而PR曲线的形状一般会发生剧烈变化。
降低不同测试数据集带来的干扰，更加客观地衡量模型本身的性能。
PR曲线能够更加直观地反应模型在特定数据集上的表现，直观的反应其性能。

3.余弦距离的应用

在机器学习中，通常将特征表示为向量的形式。所以在分析两个特征向量之间的相似性时，常用余弦相似度来表示。
余弦相似度表示的是角度的问题。欧式距离的数值受着维度的影响，范围不固定，并且含义也比较模糊。

4.A/B测试的陷阱

问题1：在对模型进行过充分的离线评估之后，为什么还要进行A/B测试：
离线评估无法完全消除模型过拟合的影响。离线评估无法完全还原线上的工程环境。线上系统的某些商业指标在离线评估中无法计算。
问题2：如何进行A/B测试：
用户分为实验组和对照组，实验组采用新模型，对照组采用旧模型

5.模型评估方法

将数据划分为训练集和测试集。
Holdout检验：将原始数据随机划分。
交叉验证：将样本划分为k个子集，当前子集为验证集其余为训练集。最后取平均。
自助法：小数据集。随机抽样。

6.超参数调优

网格搜索：测试上界和下界的所有值
随机搜索：测试上界和下界的所有样本。
贝叶斯优化方法：首先根据先验分布，假设一个搜集函数；然后每一次使用新的采样点来测试目标函数，利用这个信息来更新目标函数的先验分布，最后算法测试由后验分布给出的全局最值可能出现的位置的点。

7.过拟合和欠拟合

过拟合是指模型对于训练数据拟合呈过当的情况，在测试集上表现不是很好。
欠拟合就是在训练和预测时都不好。
降低过拟合：获取更多训练数据、降低模型复杂度、正则化方法、集成学习方法
降低欠拟合：添加新特征、增加模型复杂度、减小正则化系数。