人工智能客服的能力指标主要包括以下几类:
- 问题理解能力:这是评估智能客服是否能够准确理解用户提出的问题的能力指标。可以通过测试智能客服对不同类型问题的理解和回答能力,来评估其问题理解能力。
- 问题处理能力:这是评估智能客服是否能够有效处理用户问题的能力指标。可以通过比较智能客服处理问题的准确性和效率,来评估其问题处理能力。
- 自我学习能力:这是评估智能客服是否能够通过学习不断提升自身的能力的指标。可以通过观察智能客服在处理问题过程中,是否能够从错误中学习,不断提升自身的处理能力。
长期以来智能客服的指标在各个厂商间都有差别,但大都包括语音识别准确率、问题识别率、意图理解准确率、交互准确率、问题解决率和客户满意度等,以更具体地评估智能客服的能力。
下面本文结合银行业协会给定的国家标准,看看如何标准的评定智能客服智能化水平。
1.评价指标的范围、方法及内容
1.1 评价指标的范围
- 性能指标:用于衡量人工智能客服语音识别及语义理解能力,主要包括语音识别准确率、问题识别率、意图理解准确率等。
- 运营效果指标:用于衡量人工智能客服在客户体验提升、服务分流等方面的能力,主要包括交互准确率、问题解决率、智能分流率等。
1.2 评价指标的方法
1.2.1 抽样法
根据交互样本标注数据推算人工智能客服评价指标的方法。按照GB/T 21664-2008规定,假设事项发生率为50%、绝对误差为1%时,所需的必要样本量为1万。完成样本抽取后,与标注人员对本单位业务流程判定的结果进行对比,一致即为正确。
1.2.2 报表法
根据系统运营数据计算人工智能客服评价指标的方法。典型的系统运营数据包括进线量、交互数、客户评价数、转人工进线量。
1.3 评价指标的内容