本文原创作者:姚瑞南 AI-Agent 大模型运营专家,先后任职于美团、猎聘等中大厂AI训练专家和智能运营专家岗;多年人工智能行业智能产品运营及大模型落地经验,拥有AI外呼方向国家专利与PMP项目管理证书。(转载需经授权)
目录
一、项目背景
当前骑行RMS策略风险种类和场景较多,摩西平台涉及风险意图的仅有【受伤】场景的对话能力,造成用户进入托管询问风险类问题意图覆盖度不足与对话能力不足;因此需要风险场景的真实人机会话内容需要抽炼出风险意图分类并定义意图名称,构建风险场景的意图识别能力,根据意图能力来设计用户对话流程。
二、项目目标
定性目标:构建风险场景的意图识别能力与安抚、多轮对话能力,如期上线;
定量目标:风险场景意图识别能力达上线标准,即准确率80%(非硬性),召回率99%(硬性);对话流畅度等
三、项目时间规划
第一阶段(上线前)
阶段性目标:0-1构建风险场景意图识别能力与安抚、多轮对话能力;上线意图识别能力并达上线标准(召回率99%)
预计启动时间:6月7日
预计上线时间:6月30日(对话能力8月7日)
预计阶段成果:建设托管骑行业务风险场景意图体系,增加意图覆盖率与意图识别能力;构建意图识别后的风险对话逻辑流程,拥有风险场景的用户对话能力,工单流转打通。
建设内容:
阶段 |
事项拆解 |
具体内容 |
解决什么问题 |
进度 |
交付物 |
完成时间 |
标注阶段 |
风险场景问法标注 |
现阶段取对风险场景未识别数据进行风险问法的提取标注,并映射六级FAQ |
意图识别的基础语料输入 |
完成 |
风险意图聚类-20230607-20230612 2.xlsx 2.50MB |
6月7日 |
风险场景问法汇总数据质检及意图种类抽炼 |
根据标注完成汇总数据抽炼意图种类 |
问法聚类出中心意图,明确建设哪些意图覆盖用户问题 |
完成 |
6月7日 |
||
意图构建阶段 |
风险场景和风险意图对照评估 |
风场意图分类与场景的对照划分 |
明确出场景下涉及多少种意图,方便后续对话流设计 |
完成 |
6月12日 |
|
摩西平台意图配置及问法输入 |
根据抽炼出的意图分类完成摩西新增意图配置、对应意图下的问法输入 |
解决意图在人机对话流程中的调用,意图覆盖率、识别率问题。 |
完成 |
线上配置 |
6月14日 |
|
识别能力评测及优化阶段 |
评估指标定义及共识 |
定义识别效果指标维度及上线标准 |
明确评价指标及上线标准,达成共识 |
完成 |
6月17日 |
|
意图识别效果评估 |
算法来利用对话数据测试线上识别效果 |
识别能力效果评测,是否达到准召要求 |
完成 |