本文原创作者:姚瑞南 AI-agent 大模型运营专家,先后任职于美团、猎聘等中大厂AI训练专家和智能运营专家岗;多年人工智能行业智能产品运营及大模型落地经验,拥有AI外呼方向国家专利与PMP项目管理证书。(转载需经授权)
目录
一、红线
- 禁止更改机器人流程内容及话术节点、上下线机器人流程。
- 禁止修改除数据标注模块以外的功能列表。
- 禁止中断和暂停进行中的外呼任务。
二、工作量及工作格式要求
每日标注工作量要求:220条/天(初标)or 250条(复标)
工作格式:标注任务以日期+机器人流程名称+姓名的格式命名,发现的问题以会话ID命名录音和截图,并保存本地。
问题汇总格式:问题序号+问题描述+截图+优化建议
三、考核指标
标注质量考核数量:日随机抽取量10%,周会随机抽检5%。进行标注质量的监测。
考核项及标注规则:
序号 | 本通电话质检有效与否 | ASR标注正确与否 | ASR漏识情况 | 意图识别标注正确与否 |
1 | 有客户交互内容判断为有效,无客户交互内容判断为无效 | 语音转文本在人耳能听清的情况下正确转译判断为正确,在人耳能听清的情况下错误转译判断为错误,并填写正确转译 | 语音转文本在人耳能听清的情况下没有转译出来,属于漏识。 | 根据客户话术及录音综合判断客户意图属于该机器人流程节点中的那个意图,如意图错误,需更改为正确意图。 |
2 | ||||
3 |
四、标注周会要求
时间:每周五上午10-11点
周会讨论内容:
1、标注员每周梳理出本周发现的问题汇总及展示截图或录音,问题类型以文档形式记录。参考问题汇总格式:问题序号+问题描述+截图+优化建议
2、标注员汇报本周标注量及下周工作计划。
3、随机抽检每位标注员的标注内容质量进行展示。
4、标注结果报表展示及解读,报表里的指标优化方向及答疑。
五、标注日报格式
今日工作量:220条
标注的机器人名称:还款提醒
问题描述:问题1:XXXXX 问题2:XXXX
思考及建议优化方向:可提供对优秀话术的思考和新增意图、以客户第一视角提升交互体验的建议。