本文探讨了为什么在秘密检测中，单纯依赖准确性作为评估模型性能的标准并不合适。介绍了精确度和召回率的重要性，以及如何通过混淆矩阵来评估模型。GitGuardian的例子展示了在高召回率和高精确度之间寻找平衡的挑战。
如何评估模型的召回和准确
在源代码中检测秘密就像在大海捞针中找到针头：针头比针头要多得多，而且您不知道大海捞针中可能有多少针。 在机密检测的情况下，您甚至都不知道所有的针头是什么样子！
这是我们在尝试评估机密检测等概率分类算法的性能时遇到的问题。 该博客将解释为什么准确性度量标准与秘密检测无关，并且将介绍另外两个要一起考虑的度量标准：精确度和召回率。
准确性，准确性和召回率指标可以回答三个非常不同的问题：
精度 ：您用一根针刺一根针，用一根针刺一根针的百分比是多少？
精度 ：查看您能找到的所有针，实际上针的百分比是多少？
回想一下 ：在所有被发现的针中，您发现了多少百分比的针？
为什么准确性不能很好地衡量秘密检测的成功？
它们的描述之间的差异微妙，但可以带来巨大的差异。
回到针类比，如果我们取一组100个对象，98根棍子和2根针，那么我们将创建一个算法来检测所有针。 运行后，该算法正确地识别了所有摇杆，但仅识别了一根针，然后该算法在其核心目标上失败了50％，但由于它正确地检测到摇杆，因此仍具有99％的准确率。
所以发生了什么事？ 精度是模型评估中常用的一种度量方法，但是在这种情况下，精度为我们提供的数据最少，这是因为在干草堆中，棍棒的数量多于针的数量，并且对两个假阳性都施加了相等的权重（该算法将一根针扎成一根针）和假阴性（该算法将一根针扎成一根针）。
这就是为什么准确性不是确定秘密检测算法成功与否的好方法。 精度和召回率着眼于算法的主要目标&#
最低0.47元/天 解锁文章
4260
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
