Datawhale AI夏令营第三期 ：基于论文摘要的文本分类与关键词抽取挑战赛——学习记录（2）

一、 比赛成绩

1. 任务一

2. 任务二

 

二、NLP上分思路与技巧 - Bert Topline 直播

1.直播概述

主题：NLP上分思路与技巧分享

时间：2023年8月21日20：00

地点：线上直播（B站、微信视频号）

策划/分享人：司玉鑫、潘笃驿

学习资料: Docshttps://datawhaler.feishu.cn/docx/HGiNdHedwoAtcVx0kkScwaI3nKc

直播回放：【NLP上分思路与技巧 - Bert Topline】 https://www.bilibili.com/video/BV1Wu4y1i72q/?share_source=copy_web&vd_source=3ffe49c6937f75022e02d9fe69a30ff9

2.会议内容

（1）BERT简要介绍

BERT，是一个经典的深度学习、预训练模型。2018年，由 Google 团队发布的论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》提出了预训练模型 BERT（Bidirectional Encoder Representations from Transformers），在自然语言处理领域掀起了巨大浪潮。该模型实现了包括 GLUE、MultiNLI 等七个自然语言处理评测任务的 the-state-of-art（最优表现），堪称里程碑式的成果。

这边附上李沐老师讲解BERT论文的视频链接：

【BERT 论文逐段精读【论文精读】】 https://www.bilibili.com/video/BV1PL411M7eQ/?share_source=copy_web&vd_source=3ffe49c6937f75022e02d9fe69a30ff9

BERT论文链接：nullhttps://github.com/mli/paper-reading

（2）transformer介绍

Transformer 整体是一个很值得探究的话题，此处不再赘述，如有感兴趣的同学欢迎阅读原论文《Attention Is All You Need》(https://arxiv.org/pdf/1706.03762.pdf) 与基于 Pytorch 的 Transformer 源码解读:https://github.com/datawhalechina/thorough-pytorch/blob/main/source/%E7%AC%AC%E5%8D%81%E7%AB%A0/Transformer%20%E8%A7%A3%E8%AF%BB.mdhttps://github.com/datawhalechina/thorough-pytorch/blob/main/source/%E7%AC%AC%E5%8D%81%E7%AB%A0/Transformer%20%E8%A7%A3%E8%AF%BB.md

（3）进阶实践 ——深度方法的代码逐行讲解

直播中分享人提供了一些上分的思路：尝试调高batch_size、text_max_length、epochs ；构建更复杂的网络层；修改损失函数和优化器等。

（4）Topline代码（贡献者：张文浩）介绍

采用的方案为：预训练微调（roberta)+特征融合+后处理

代码链接：Docshttps://tvq27xqm30o.feishu.cn/docx/U1fzdqdE0o6SWnxixyrc3gnLnJg

（5）分享人答疑环节 

三、个人感悟

在本次学习活动中共提供两个版本的Topline，最终评分都为1分，而它们所采用的方法截然不同，从中我学到许多之前没有接触过的知识以及体会到自己跑通并提交的那种不一样的感觉，相信许多小伙伴也深有感触。