基于星火大模型的群聊对话分角色要素提取挑战赛——首次体验笔记与思考#AI夏令营#Datawhale#夏令营

经过老师推荐，同时也是我们项目需要，我来参加了这次的夏令营活动，旨在提高我对大模型的了解，以及学习利用大模型进行训练的知识

赛事链接: https://challenge.xfyun.cn/h5/detail?type=role-element-extraction&ch=dw24_y0SCtd

首先第一天我认真了解了此次任务，大概要求就是通过利用讯飞在线模型API对一些聊天记录进行分析训练，最终提取出有效内容，训练并导出文件，提交测评得出最终评分，根据训练质量得出得分高低。

第一天跟直播进行了简单了解，并完成的基础的baseline得出得分为16点多

第二天，就是今天我通过查看直播，同时简单看了下大佬的笔记

传送门: 基于星火大模型的群聊对话分角色要素提取挑战赛|#AI夏令营#Datawhale#夏令营-Lora微调与prompt构造

我初步了解了微调的大概方向
dataset目录下有两个文件是训练的原始数据，有train和text_data两个json文件

我也注意到这里面有大量例如【】[]这种内容，重复且没有意义，所有我也借鉴大佬的代码，同时又增加了其他的参数，由于代码基础不好，我就让文心一言帮我写了一下
下面展示一下我修改后的代码

# 删除表情图片、超链接
train_data['chat_text'] = train_data['chat_text'].str.replace(r"\[[^\[\]]{2,10}\]", "", regex=True)
train_data['chat_text'] = train_data['chat_text'].str.replace("https?://\S+", "", regex=True)
test_data['chat_text'] = test_data['chat_text'].str.replace(r"\[[^\[\]]{2,10}\]", "", regex=True)
test_data['chat_text'] = test_data['chat_text'].str.replace("https?://\S+", "", regex=True)


pattern_reply = r'这是一条引用/回复消息： "[^"]*"(?: ------)?'  
# 应用正则表达式到train_data和test_data  
train_data['chat_text'] = train_data['chat_text'].str.replace(pattern_reply, "", regex=True)  
test_data['chat_text'] = test_data['chat_text'].str.replace(pattern_reply, "", regex=True)  

在大佬的基础上添加了一些对微信消息回复内容的删除，
也算是学习并优化了一下吧😎

同时又把重试次数改为15次

由于还不是太懂，数据可能并没有正确写入，这次训练分数仅提高到了18点多
但是我觉得思路确实是正确的，待我再研究研究，重新训练一下再提交看看

暂时写这么多吧，也是我的一些心得和体会吧，有什么问题也欢迎交流~