石昊悦： 无监督句法分析模型里面的监督信号

⬆⬆⬆              点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

我们分析了最近的无监督句法分析模型，发现来自验证集的监督信号在模型表现上起到很大作用；另一方面，在极少量样本上训练的有监督句法分析模型往往效果很不错。

因此我们推荐未来的无监督句法分析和其他无监督学习工作清晰区分以下两种比较方案：1.完全无监督模型：不管是训练、验证还是模型选择，都采用完全无监督的方案，如使用语言模型困惑度作为标准；2.少量有标记样本作为验证集：在这种方案下，应该尽可能少地使用有标记样本，并且比较在同样样本上进行有监督训练的基线模型。

石昊悦：本科毕业于北京大学智能科学与技术系，丰田工业大学芝加哥分校（Toyota Technological Institute at Chicago）三年级博士生，导师为Karen Livescu和Kevin Gimpel，主要关注无监督学习、长程监督学习以及句法结构，致力于借助计算手段更好地理解语言。第一作者文章曾获ACL 2019最佳论文提名。

一、 小样本在无监督句法分析中的表现

近期的一些基于神经网络的无监督句法分析表现出了比传统无监督句法分析模型更好的性能，然而这些工作有许多使用了WSJ验证集（包含1700个带有成分句法树的句子），相较之下，没有使用任何标记数据的情况下的模型表现就差了很多。

在这项工作中，我们用很少的有标记样本来训练有监督句法分析模型，为有监督调参的无监督成分句法分析设置了强大的基准。我们训练了一个带有很少标记样本的监督句法分析模型Benepar，发现：

（i） 即使只用15个的样本进行调优，这样的无监督句法分析结果要远远好于纯无监督解析器；

（ii）