算法工程师面试问题整理（一）——模型评估

最新推荐文章于 2024-02-17 23:01:48 发布

qq_42274763

最新推荐文章于 2024-02-17 23:01:48 发布

阅读量362

点赞数

原文链接：https://blog.csdn.net/qq_23847531/article/details/104017959?ops_request_misc=%7B%22request%5Fid%22%3A%22158313446919725219942721%22%2C%22scm%22%3A%2220140713.130056874..%22%7D&request_id=158313446919725219942721&biz_id=0&utm_source=distribute.pc_search_re

版权

模型评估方法

1.Accuracy作为指标有哪些局限性？

在非平衡数据的情况下，准确率这个评价指标有很大的缺陷。比如在互联网广告里面，点击的数量是很少的，一般只有千分之几，如果用Accuracy，即使全部预测成负类（不点击），ACC也达到了99%以上，这就没有意义了。当不同类别的样本比例非常不均衡时。

2.ROC曲线和PR曲线各是什么？

在机器学习中，ROC（Receiver Operator Characteristic）曲线被广泛应用于二分类问题中来评估分类器的可信度，但是当处理一些高度不均衡的数据集时，PR曲线能表现出更多的信息，发现更多的问题。
在二分类问题中，分类器将一个实例的分类标记为是或否，这可以用一个混淆矩阵来表示。混淆矩阵有四个分类，如下表：
在这里插入图片描述
TP（True Positive）：指正确分类的正样本数，即预测为正样本，实际也是正样本。
FP（False Positive）：指被错误的标记为正样本的负样本数，即实际为负样本而被预测为正样本，所以是False。
TN（True Negative）：指正确分类的负样本数，即预测为负样本，实际也是负样本。
FN（False Negative）：指被错误的标记为负样本的正样本数，即实际为正样本而被预测为负样本，所以是False。
还有一些基本指标：
TP+FP+TN+FN：样本总数。
TP+FN：实际正样本数。
TP+FP：预测结果为正样本的总数，包括预测正确的和错误的。
FP+TN：实际负样本数。
TN+FN：预测结果为负样本的总数，包括预测正确的和错误的。
以这四个基本指标可以衍生出多个分类器评价指标，如下图：
在这里插入图片描述
在ROC曲线中，以FPR为x轴，TPR为y轴。FPR指实际负样本中被错误预测为正样本的概率。TPR指实际正样本中被预测正确的概率。
在PR曲线中，以Recall（召回率）为x轴，Precision为y轴。Recall与TPR的意思相同，而Precision指正确分类的正样本数占总正样本的比例。

3.编程实现AUC的计算，并指出复杂度？

AUC（Area under Curve）指的是ROC曲线下的面积，介于0和1之间。AUC作为数值可以直观地评价分类器的好坏，值越大越好。它的统计意义是从所有正样本随机抽取一个正样本，从所有负样本随机抽取一个负样本，当前score使得正样本排在负样本前面的概率。
AUC的计算主要以下几种方法：

1.计算ROC曲线下的面积。这是比较直接的一种方法，可以近似计算ROC曲线一个个小梯形的面积。几乎不会用这种方法
2.从AUC统计意义去计算。所有的正负样本对中，正样本排在负样本前面占样本对数的比例，即这个概率值。
具体的做法就是它也是首先对prob score从大到小排序，然后令最大prob score对应的sample 的rank为n，第二大score对应sample的rank为n-1，以此类推。然后把所有的正类样本的rank相加，再减去M-1种两个正样本组合的情况。得到的就是所有的样本中有多少对正类样本的score大于负类样本的score。最后再除以M×N。公式如下：

4.AUC指标有什么特点？放缩结果对AUC是否有影响？

AUC（Area under Curve）指的是ROC曲线下的面积，介于0和1之间。AUC作为数值可以直观地评价分类器的好坏，值越大越好。它的统计意义是从所有正样本随机抽取一个正样本，从所有负样本随机抽取一个负样本，当前score使得正样本排在负样本前面的概率。

放缩结果对AUC没有影响

5.余弦距离与欧式距离有什么特点？

余弦距离
余弦距离，也称为余弦相似度，是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。如果两个向量的方向一致，即夹角接近零，那么这两个向量就相近。
在这里插入图片描述
欧式距离

余弦距离使用两个向量夹角的余弦值作为衡量两个个体间差异的大小。相比欧氏距离，余弦距离更加注重两个向量在方向上的差异。

当对向量进行归一化后，欧式距离与余弦距离一致。
在这里插入图片描述
余弦距离和欧式距离都是在机器学习中用来计算相似度的指标，但是两者的含义有很大差别，有什么差别呢？
余弦距离是看成坐标系中两个向量，来计算两向量之间的夹角。
欧氏距离是看成坐标系中两个点，来计算两点之间的距离；
余弦距离因为是向量，所以一般指方向上的差别，即所成夹角。
欧氏距离因为是点，所以一般指位置上的差别，即距离；

举一个实际的例子来理解：
例如某T恤从100块降到了50块（A(100,50)），某西装从1000块降到了500块（B(1000,500)）
那么T恤和西装都是降价了50%，两者的价格变动趋势一致，余弦相似度为最大值，即两者有很高的变化趋势相似度
但是从商品价格本身的角度来说，两者相差了好几百块的差距，欧氏距离较大，即两者有较低的价格相似度

参考：https://blog.csdn.net/linvo/article/details/9333019