一个语音助手包含很多模块和环节,比如ASR、NLU、TTS、客户端等,那么如何评估一个语音助手以及其各个模块的效果呢?有没有可以量化的指标?
1、产品指标:
- 用户会话量:指每日用户对话次数。
- 用户量:指每日用户量。
- 次日留存:指次日仍然使用助手的用户相对于前一天的占比。
- 第7日留存:以n为基准,则第n+7天仍然使用助手的用户占比。
- 次周留存:以n为基准,n+7不算,从n+7到n+14内仍然使用语音助手的用户占比。
上述指标,是从不同的角度来对整个产品进行评估,其体现的是一个语音助手整体的状态,简单来说,就是用的人越多(用户量),每个人用的次数越多(用户会话量/用户量),用完了之后还想用(留存),就是一个好的产品。
2、技术指标:
客户端:
- 客户端执行成功率:指客户端执行操作的成功率,越高越好。
ASR:
- ASR字错率:为了使识别出来的词序列和标准的词序列之间保持一致,需要进行替换、删除或者插入某些词,这些插入、替换或删除的词的总个数,除以标准的词序列中词的总个数的百分比,即为WER,越低越好。
- ASR句错率:SER表述为句子中如果有一个词识别错误,那么这个句子被认为识别错误,句子识别错误的的个数,除以总的句子个数即为SER,越低越好,其计算公式如下所示:
- 唤醒率:即用户唤醒成功的概率,越高越好。
- 误唤醒率:非用户唤醒,或者存在背景音等噪音时,被误唤醒的概率,越低越好。
NLU
- 语义理解准确率:语义识别的意图、槽位、结果均正确时,认为语义理解正确,则准确率=识别正确的query/总query
- 召回率:能够正确识别用户话术到某个意图中,则为对应场景的召回率,召回率= 正确识别到该场景的话术/用户话术中存在该意图的话术。
TTS
- TTS自然度:指TTS在播报时的流畅程度,更加贴近于人在说话,而非机器音,是一个偏主观的指标。
3、从用户测角度出发:
闲聊场景下:
- 同情心:指识别用户情绪的能力,能够识别到用户当前情绪,也叫情感识别。
- 同理心:同理心要求从用户角度来看待事物,而非自己的角度,也就是指识别到用户情绪后,在回复中能够与用户共情,和用户引起共鸣。
- 相关性:指回答要和用户的问题相关,不能够答非所问,比如:Q:“今天天气怎么样?”A1:“今天有雨”。 A2: “今天8号”。则A1与Q相关,A2不相关。
- 趣味性:指回复的内容是否有趣味,而非仅仅“问什么答什么”,仍然上面的例子,A3:“今天有雨,出门记得带伞,即使下雨也要保持好心情哦。”,A3相对于A1趣味性更高,也是一个偏主观的指标。
- 多样性:指回复的内容是否丰富多样,当用户多次询问相同的问题时,回复不能够总是一样的。
- 平均对话轮次:指和用户总共对话的轮次,一般认为10分钟内没有和用户发生对话,则一轮对话已经结束,平均对话轮次=总对话次数/总轮次,比如:某天用户和助手一共对话100次,分别在上午8:00-8:30, 9:00-10:00, 10:15-11:00,则平均对话轮次=100/3 = 33次。
- 人设一致性:每个助手是有自己的人设的,比如:女性、18岁,喜欢吃白菜,喜欢绿色等等,人设一致性要求助手在与用户对话时,保持自己的人设不变的,不能“朝三暮四”。
- 开启话题的能力:指当某个话题聊不下去时,能够主动开启新话题的能力,不能够尬聊。
问答场景下:
- 回复相关性:指回复和用户问题是否相关。
- 时效性:指回复是否足够实时,比如股票信息,限号信息等,都是有实效要求的。
- 问题解决率:指回复能够解决用户问题的占比。
- 无答案的比例:指没有找到答案的占比,越低越好。
- 用户重复询问的比例:当用户没有找到自己的答案时,有时会重复询问这个问题,或者变换一种说法再次询问,则重复询问的比例要求越低越好,也就是希望能够一次性解决用户需求。
指令场景下:
- 技能覆盖率:指可以执行的技能覆盖用户需求的能力,用户的需求是多种多样的,是否存在对应的技能来执行,表示技能覆盖率。
- 完成度:指执行动作完成用户需求的程度,比如用户说:“打开微信帮我发个朋友圈内容是今天天气真好”,如果只帮助用户打开了微信,而没有发朋友圈,则该技能没有被完成。
- 执行成功率:指动作执行成功的占比。
4、更高的要求:
上面3点分别从产品、技术、用户的角度分析了一下语音助手的评测指标,但一个真正智能的语音助手,还应该具备多轮会话的能力,他作为闲聊、问答、任务之间的润滑剂,可以大大提升智能感,这在后面会细讲,对应的多轮对话的指标有:
- 平均对话轮次:计算方式和上面类似,但是不同场景要求不同,闲聊中要求平均对话轮次越高越好,说明聊的好,而问答型和任务型则希望对话轮次越少越好,表明在最短的时间内满足用户需求。
- 跳出率:指多轮对话之间用户跳出的占比。
- 多轮相关性:和回复相关性不同,如果定义一次Q和一次A为一轮,则多轮相关性则是指多个轮数之间的相关性,也指维护一个话题的能力。