直播 | WWW 2021：用先验知识指导BERT注意力机制的语义文本匹配

「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，而有效地反馈和交流可能会让知识的传播更加有意义，从而产生更大的价值。

本期 AI Drive，我们邀请到吉林大学计算机学院硕士生夏婷玉，为大家在线解读其发表于 WWW 2021 的最新工作：Using Prior Knowledge to Guide BERT’s Attention in Semantic Textual Matching Tasks。对本期主题感兴趣的小伙伴，5 月 20 日（周四）晚 7 点，我们准时相约 PaperWeekly B 站直播间。

直播信息

在文本相似性任务中，通过探究 BERT 模型本身拥有哪些知识，分析在 BERT 模型的哪些位置需要哪些知识。从而进一步将现有的先验知识注入到 BERT 的多头注意力机制中，在没有额外增加新的训练任务的同时提升模型的效果。实验表明，我们的工作可以在不牺牲训练成本的同时，提高文本语义相似性任务的分类准确率，尤其在面对稀疏的训练数据时，效果格外显著。

论文标题：

Using Prior Knowledge to Guide BERT’s Attention in Semantic Textual Matching Tasks

论文链接：

https://arxiv.org/abs/2102.10934

代码链接：

https://github.com/xiatingyu/Bert_sim

本次分享的具体内容有： 

• BERT模型分析：数据增强分析、分层性能分析

• 模型简介：单词相似性矩阵、知识指导的BERT’s Attention结构

• 实验验证：数据集简介，实验结果，进一步分析

• 总结

嘉宾介绍

 夏婷玉 / 吉林大学硕士生 

夏婷玉，吉林大学人工智能学院研二在读，导师为常毅教授，研究方向：semantic textual similarity，domin adaptation。

直播地址 & 交流群

本次直播将在 PaperWeekly B 站直播间进行，扫描下方海报二维码或点击阅读原文即可免费观看。线上分享结束后，嘉宾还将在直播交流群内实时 QA，在 PaperWeekly 微信公众号后台回复「AI Drive」，即可获取入群通道。

B 站直播间：

https://live.bilibili.com/14884511

合作伙伴

????

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。