如何用大模型做好抽取任务实操案例】

温柔以待0617

已于 2024-07-06 12:55:33 修改

阅读量690

点赞数 7

文章标签： AI编程

于 2024-07-06 12:44:08 首次发布

本文链接：https://blog.csdn.net/weixin_37638269/article/details/140223586

版权

#AI夏令营 #Datawhale #夏令营
这一期的datawhale夏令营的活动，是基于讯飞开放平台“基于星火大模型的群聊对话分角色要素提取挑战赛”开展实践学习。
#比赛内容：https://challenge.xfyun.cn/topic/info?type=role-element-extraction
实践步骤：跑通baseline → 尝试个人idea→尝试进阶baseline

#一、跑通baseline
Task2：赛事解读+基础baseline 讲解
1.主要在于如何构建prompt，在prompt中给出对话记录，同时给出我们需要提取的字段，同时对大模型提出要求：“请将提取的信息以JSON格式输出。不要添加任何澄清信息。输出必须遵循上面的模式。不要添加任何没有出现在模式中的附加字段。不要随意删除字段。”，还有输出的具体格式。都在prompt中有体现。
2.因为大模型的不可控的性质，所以还有做些后处理，比如输出的不是json的文件，偶尔缺少字段等。
3.在我跑完baseline后，拿到17分的成绩。

#二、构思idea，改进baseline
Task3：进阶 baseline2【微调方向】 + 知识点讲解
首先，先做数据处理，数据处理包括，先用大模型按照抽取结果做针对性的总结。其次是做数据的格式化。这里先做一步总结，主要是给出的对话数据非常的长，这样非常浪费token。
第二，做微调，讯飞的平台需要1500条数据才可以实现微调，而给我们的数据只有129条，所以需要扩充数据。
在微调之后，就可以实现api的推理。

#三、封存思想精华，个人感悟，学习记录都ok
在传统的nlp任务中，如果同时抽取出这么多的信息，是很难的一件事，但在大模型出现后，给做抽取任务提供了新的思路，虽然大模型容易发散，不易受控制，但是在nlp任务中，仍然有着不可替代的作用，随着大语言模型能力越来越高，那么处理问题也就越来越容易。

这个夏令营时间有点短，还有很多需要学习的地方：
1.https://mp.weixin.qq.com/s/J8J_8ht7NSgbpJV5HNyhgA
2.https://github.com/datawhalechina/llm-cookbook/tree/main/content/%E5%BF%85%E4%BF%AE%E4%B8%80-Prompt%20Engineering%20For%20Developers

3.https://github.com/datawhalechina/hugging-multi-agent/tree/main

4.https://www.bilibili.com/video/BV1pw4m1e7U3/?spm_id_from=333.999.0.0&vd_source=1a432a45372ea0a0d1ec88a20d9cef2c