夏令营1期-对话分角色要素提取挑战赛-第①次打卡

最新推荐文章于 2024-09-04 14:24:09 发布

轩轩超可爱

最新推荐文章于 2024-09-04 14:24:09 发布

阅读量996

点赞数 9

文章标签：人工智能

本文链接：https://blog.csdn.net/m0_67547784/article/details/140054906

版权

零基础入门大模型技术竞赛

简介：

本次学习是 Datawhale 2024 年 AI 夏令营第一期，学习活动基于讯飞开放平台“基于星火大模型的群聊对话分角色要素提取挑战赛”开展实践学习。

登陆后点击报名。

链接：https://console.xfyun.cn/app/myapp

官方会在报名成功后，立即发放星火大模型 Spark Max的 API 额度助力我们完成赛事

拿到的信息格式形如：

APPID：455*****

APISecret：Nz******Iz

APIKey：a8d******9f

项目链接：https://aistudio.baidu.com/projectdetail/8095619

下载 output.json 文件，上传到比赛链接，提交结果。
赛题方提供了184条真实场景的群聊对话数据以及人工标注后的字段提取结果，其中训练数据129条，测试数据 55条。按照各类字段提取的难易程度，共设置了1、2、3三种难度分数。待提取的字段以及提取正确时的得分规则如下：

备注:

1）可为空的字段，当判定无相应信息、无法做出判断等情况，统一取值为空字符串

2）对于非单值字段，请使用list来表示

测试集的每条数据同样包含共21个字段, 按照各字段难易程度划分总计满分36分。每个提取正确性的判定标准如下:

1）对于答案唯一字段，将使用完全匹配的方式计算提取是否正确，提取正确得到相应分数，否则为0分

2）对于答案不唯一字段，将综合考虑提取完整性、语义相似度等维度判定提取的匹配分数，最终该字段得分为 “匹配分数 * 该字段难度分数”

每条测试数据的最终得分为各字段累计得分。最终测试集上的分数为所有测试数据的平均得分。

我们 Baseline 选择使用大语言模型抽取的思路。

思考：如何让大语言模型理解我们的任务？

在使用大语言模型时，应该对需要完成的任务做一个规划整理。制定一个思考路线。比如我们信息抽取时，应该先理解群聊信息，然后定义抽取的内容，接着限定输出内容，最后将整理好的要求及待处理内容以promopt的形式交给大语言模型。

思考：如何规范抽取的输出？

关注