决策树准确率低原因_智能质检优化实践：召回率和准确率，哪个更重要？

题图：美剧《了不起的麦瑟尔夫人》

很多企业拥有中大型电销或客服中心，每天与客户产生成千上万次沟通。沟通的质量，决定了企业的收入或客户满意度。企业监督业务人员的沟通质量和执行力的过程，被称为质检。

前两篇文章，我们介绍了“关键词+正则”质检方式和全新的“非正则”质检方式的区别，也介绍了两种机器质检方式各自适配的场景。

双模质检，各司其职。“非正则”质检方式通过引入深度学习算法模型，能够更好地利用上下文语义来判断一个句子是否命中了质检项，显著提升找全率（术语“召回率”）和找准率（术语“准确率”）。同时，由于深度学习算法模型对训练数据量有要求，因此“非正则”方式更适合目标通话量较多的质检项，而目标通话量过少的质检项，无法训练出好的算法模型，需要继续使用“关键词+正则”的方式。

今天，我们进一步分析，如何对不同的质检项采取不同的优化策略，使机器质检和人工复检更好地平衡，提升整体质检工作的效率。

召回率和准确率的关系

我们希望每个质检项所命中的目标通话又全又准。这也是循环智能的质检产品引入“非正则”模式的原因。

但在优化质检项的命中效果时，当召回率和准确率都达到了一定的高度，想要继续提升，难免会遇到“二选一”的问题：召回率和准确率互相影响、此消彼长，一个指标增长，另一个指标通常就会下降。

图：Designed by Creazilla

在实际应用中，大部分企业的业务流程是“机器质检+人工复检”：将机器质检的结果交给人工做复检。因此，机器质检的召回率和准确率变化，会影响到人工复检的成本：

• 提升召回率（适当牺牲准确率），意味着降低“漏检”的风险，但可能会增加“误检”带来的人工复检成本；
• 提升准确率（适当牺牲召回率），意味着降低“误检”带来的人工复检成本，但可能会增加“漏检”的风险。

那么对于不同的质检项而言，如果碰到“二选一”的问题，该如何做出选择？

负向质检项：通常“召回率”优先

负向质检，就是找出不合格、不合规的地方。通俗地说，在销售、客服质检中，是指找出业务员“说了什么不该说的”。负向质检是企业比较常见的需求，尤其是在受监管比较严格的领域。

在贷后资产管理（催收）领域，质检项以负向为主，例如恐吓威胁、疑似私收钱款等。负向质检项通常有两个特征，第一是违规量通常都不太大（大部分通话不会违规），第二是漏检之后的风险相对比较大。因此，针对负向质检项，我们通常应该通过调整算法模型的参数或规则代码，保证“召回率”优先，将更多涉嫌违规的通话都找出来，然后增加人工成本去做复检，“宁可错杀一片，不可放过一个”。

正向质检项：通常“准确率”优先

正向质检，是指对业务员符合规范的地方进行加分激励。最近几年，正向质检越来越受到企业重视，因为负向质检判断的只是业务员有没有犯错，是一种“惩恶”的理念，而正向质检可以用来激励业务员变得更加专业、更加规范，是一种“扬善”的理念，更有利于形成正向循环。

例如客服领域的规范性用语：“标准开场白”、“标准结束语”、“服务延伸用户（请问还有什么可以帮您）”以及“确认客户预留信息”等。这类正向质检项，通常目标通话量比较大，如果错误率较高，复检成本就会很高。面临二选一的时候，我们通常应该通过调整模型参数或规则代码，优先提升准确率，降低人工复检成本，“宁可漏掉几个，不可错杀一片”。

实际场景更复杂

需要重申，我们在优化质检项命中效果的时候，最好的情况是，能找到同时提升召回率和准确率的方法，或者能找到大幅提升其中一个指标，而另一个指标不会明显下降的方法。如果这两条路都走不通，为了继续提升效果，才需要结合漏检的风险高低以及人工复检的成本，进行“二选一”。

通常，因为负向质检项的漏检风险比较高，所以“召回率优先”，降低漏检风险；而正向质检项的目标通话量比较大，所以“准确率优先”，降低复检成本。

​不过，也有少量例外。比如有的负向质检项，目标通话量不算少，而且风险也比较低，那可以考虑“准确率优先”；有的正向质检项，目标通话率非常少，而且重要性比较高，那就应该考虑“召回率优先”。

此外，在实际应用中，还要将其他因素综合考虑进去，比如不同质检项的召回率和准确率提升难度不同，比如不同企业的复检员数量是不同的……我们才能更好地制定不同质检项的优化策略。 © THE END

---

循环智能的主产品是基于对话数据的 AI 销售中台，针对销售和客服场景，提供三大核心模块：线索成单预测、客户心声分析和智能质检，并提供电话录音ASR语音识别基础服务。猛戳这里，预约在线演示。