- 博客(4)
- 收藏
- 关注
RSS订阅
原创 微调预训练模型方式的文本语义匹配（Further Pretraining Bert）
微调预训练模型方式的文本语义匹配（Further Pretraining Bert）今年带着小伙伴参加了天池赛道三: 小布助手对话短文本语义匹配比赛，虽然最后没有杀进B榜，但也是预料之中的结果，最后成绩在110名左右，还算能接受。言归正传，本文会解说苏剑林（苏神）的Baseline方案和代码，然后会分享我在Baseline上使用的tricks还有我们的方案和实验结果。干货Github：https://github.com/Ludong418/gaic-2021-task3资料集合：个人整理的资料大
2021-04-24 23:23:29
2325
1
原创 虚拟对抗训练（VAT）原理和代码解析
虚拟对抗训练（VAT）原理和代码解析微软在ACL20发表了一篇Adversarial Training for Large Neural Language Models，对应的代码ALUM，这是一篇首次在大规模语料做对抗式训练的语言模型研究，提出了ALUM通用的对抗式训练的算法，并且在当前预训练模型上取得SOTA。此研究目的是解决当前的预训练模型（文中用BERT和ROBERT）泛化性和鲁棒性不足的，并且当前对抗训练虽然可以增强鲁棒性，但会损害泛化性的问题。作者还指出ALUM可以在预训练和下游任务都可以使用
2021-04-01 00:44:53
5687
3
原创 关系抽取（Entity-Relation-Extraction）流水线方案
Entity-Relation-Extraction流水线方案及代码解读概要关系抽取任务（Entity Relation Extraction task）可以分为流水线方式和关联学习两种方式，本篇解读的是基于BERT预训练模型的流水线方式关系抽取方案，原作者是把整个任务分为两个模型，即关系抽取和实体识别。关系抽取为多标签分类问题，命名实体识别为序列标注问题。原始资料bert实践:关系抽取...
2020-03-28 21:06:40
5869
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人