零基础入门大模型技术竞赛
简介:
本次学习是 Datawhale 2024 年 AI 夏令营第一期,学习活动基于讯飞开放平台“基于星火大模型的群聊对话分角色要素提取挑战赛”开展实践学习。
-
适合想 入门并实践大模型 API 开发、了解如何微调大模型的学习者参与
-
快来跟着教程的节奏,拿下你的第一个 “基于星火大模型的群聊对话分角色要素提取挑战赛” 分数!
Step1:报名赛事!(点击即可跳转)
登陆后点击报名。
Step2:申领大模型API!(点击即可跳转)
链接:https://console.xfyun.cn/app/myapp
官方会在报名成功后,立即发放星火大模型 Spark Max的 API 额度助力我们完成赛事
拿到的信息格式形如:
APPID:455*****
APISecret:Nz******Iz
APIKey:a8d******9f
Step3:30 分钟体验一站式 baseline!(点击即可跳转)
项目链接:https://aistudio.baidu.com/projectdetail/8095619
-
下载
output.json
文件,上传到比赛链接,提交结果。 -
赛题方提供了184条真实场景的群聊对话数据以及人工标注后的字段提取结果,其中训练数据129条,测试数据 55条。按照各类字段提取的难易程度,共设置了1、2、3三种难度分数。待提取的字段以及提取正确时的得分规则如下:
-
序号
字段名称
是否单值
是否可为空
难度分数
答案是否唯一
1
基本信息-姓名
是
是
1
是
2
基本信息-手机号码
是
是
1
是
3
基本信息-邮箱
是
是
1
是
4
基本信息-地区
是
是
1
是
5
基本信息-详细地址
是
是
1
是
6
基本信息-性别
是
是
1
是
7
基本信息-年龄
是
是
1
是
8
基本信息-生日
是
是
1
是
9
咨询类型
否
是
2
是
10
意向产品
否
是
3
是
11
购买异议点
否
是
3
是
12
客户预算-预算是否充足
是
是
2
是
13
客户预算-总体预算金额
是
是
2
是
14
客户预算-预算明细
是
是
3
否
15
竞品信息
是
是
2
是
16
客户是否有意向
是
是
1
是
17
客户是否有卡点
是
是
1
是
18
客户购买阶段
是
是
2
是
19
下一步跟进计划-参与人
否
是
2
是
20
下一步跟进计划-时间点
是
是
2
是
21
下一步跟进计划-具体事项
是
是
3
否
备注:
1)可为空的字段,当判定无相应信息、无法做出判断等情况,统一取值为空字符串
2)对于非单值字段,请使用list来表示
评价指标
测试集的每条数据同样包含共21个字段, 按照各字段难易程度划分总计满分36分。每个提取正确性的判定标准如下:
1)对于答案唯一字段,将使用完全匹配的方式计算提取是否正确,提取正确得到相应分数,否则为0分
2)对于答案不唯一字段,将综合考虑提取完整性、语义相似度等维度判定提取的匹配分数,最终该字段得分为 “匹配分数 * 该字段难度分数”
每条测试数据的最终得分为各字段累计得分。最终测试集上的分数为所有测试数据的平均得分。
我们 Baseline 选择使用大语言模型抽取的思路。
思考:如何让大语言模型理解我们的任务?
在使用大语言模型时,应该对需要完成的任务做一个规划整理。制定一个思考路线。比如我们信息抽取时,应该先理解群聊信息,然后定义抽取的内容,接着限定输出内容,最后将整理好的要求及待处理内容以promopt的形式交给大语言模型。
思考:如何规范抽取的输出?
-
定义规范的结构
-
明确抽取的数据格式
-
提前准备标准数据模版,将抽取到的数据匹配填充
-
对空值制定处理方案