小布助手nlp比赛

1.赛题背景

小布助手是OPPO公司为欧加集团三品牌手机和IoT设备自研的语音助手，为用户提供了有趣、贴心、便捷的对话式服务。意图识别是对话系统中的一个核心任务，而对话短文本语义匹配是意图识别的主流算法方案之一。本赛题要求参赛队伍根据脱敏后的短文本query-pair，预测它们是否属于同一语义，提交的结果按照指定的评价指标使用在线评测数据进行评测和排名，得分最优者获胜。

2.赛题描述及数据说明

训练数据

训练数据包含输入query-pair，以及对应的真值。初赛训练样本10万，复赛训练样本30万，这份数据主要用于参赛队伍训练模型，为确保数据的高质量，每一个样本的真值都有进行人工标注校验。每行为一个训练样本，由query-pair和真值组成，每行格式如下：

• query-pair格式：query以中文为主，中间可能带有少量英文单词（如英文缩写、品牌词、设备型号等），采用UTF-8编码，未分词，两个query之间使用\t分割。
• 真值：真值可为0或1，其中1代表query-pair语义相匹配，0则代表不匹配，真值与query-pair之间也用\t分割。

训练数据样本举例（空白间隔为\t）：

肖战的粉丝叫什么名字 肖战的粉丝叫什么 1
王者荣耀里面打野谁最厉害 王者荣耀什么英雄最好玩 0
我想换个手机 我要换手机 1
我是张睿 我想张睿 0
不想 不想说 0

测试数据

脱敏后的query-pair数据，初赛采用A/B榜的方式，A榜和B榜样本规模分别为2.5万，发布时间以赛制为准，初赛队伍根据初赛B榜排名择优进入复赛；复赛同样采用A/B榜的方式，样本规模5万（与初赛不重复），复赛队伍根据复赛B榜排名择优进入现场答辩。

测试数据样本举例（空白间隔为\t）

肖战的粉丝叫什么名字 肖战的粉丝叫什么
王者荣耀里面打野谁最厉害 王者荣耀什么英雄最好玩
我想换个手机 我要换手机
我是张睿 我想张睿
不想 不想说

3.评估标准

比赛的评估标准由性能标准和效果标准两部分组成，初赛采用效果标准，AUC 指标。

4.前排解决方案

4.1 AI小花

开源

4.2、[none]

4.3、白[MASK]

4.4、科讯嘉联灵珠团队

4.5、LOL王者