bert简介_ACL2020 | 无监督？无监督！你没试过的BERT的全新用法

一种完全无监督的基于BERT的句法分析方法 —— 扰动掩码（Perturbed Masking）

0. 背景

论文标题： Perturbed Masking: Parameter-free Probing for Analyzing and Interpreting BERT

作者：吴志勇（香港大学）等

1. 简介

BERT在各大leaderboard上的横扫带火了几个大的研究方向，一是如何训练一个更强、更快的语言模型，二是如何在下游任务上加入BERT来提升模型的表现，以及一个相对小众的，但是大家都比较感兴趣的问题：为啥BERT效果这么棒？

在最近召开的ACL会议上，来自香港大学和华为诺亚方舟实验室的研究人员提出了一种无监督的探索BERT可解释性的方法——扰动掩码（Perturbed Masking）。这里对该文章进行解读，我们会首先概述一下相关背景知识并介绍有监督的可解释性研究的做法及其弊端，然后以一个例子来介绍文中提出的扰动掩码的具体做法，并在文末展望一下这项技术的可能的应用。

2. 背景: 预训练语言模型中蕴藏的语言学知识

人类的沟通交流是通过一段一段的文字来实现的，但是在这简单的从左往右的序列背后，其实包含了很多复