语法特征？语义特征？......句子向量中的语言学特征讨论

      本文主要是介绍一下WHAT YOU CAN CRAM INTO A SINGLE VECTOR: PROBING SENTENCE EMBEDDINGS FOR LINGUISTIC PROPERTIES【1】，不讨论具体的学习句子向量的模型，主要是想验证一下不同模型学习到的句子向量包含哪些语言学特征。

    通过人工设计了10个与语言学特征相关的分类任务，来验证句子向量是否包含某个语言学特征。分类任务的数据来源是Toronto Book Corpus【2】，选取的句子长度范围是5-28，采用Stanford Parser做的句法分析，抽样了100k的训练数据，10k验证数据和测试数据，在抽样过程保证类别的均衡。
    验证模型的向量是不学习的，直接从上游模型产生。为了保证结果的泛化和可解释性，限定向量是是单句的，不是句子+词的组合，也不是多句。

1 语言特征相关的学习任务

（1）表层信息

       包括两个任务，SentLen和WC。SentLen是对句子长度做了6等宽箱图，将任务做成一个6类分类任务。WC是判断句子向量是否包含原始单词的信息，从语料库中选了1k个中频的单词，抽样了1k的句子，保证句子中有且仅有一个要预测的单词。WC任务是一个1k类别的分类任务，目标是最有可能包含的那个单词。

（2）语法信息

        包括三个任务，BShift、TreeDepth和TopConst。BShift是判断句子向量对语序是否敏感，随机的对句子中相邻单词进行位置互换，是一个二分类任务。TreeDepth是判断句子向量是否包含句子层级结构信息，并且能根据最大路径程度对句子做归类。预料库中句子的深度范围 是5-12，是一个8类别分类任务。句子长度和TreeDepth有天然的内在联系，作者进行了某种结构化抽样，来消除这种联系。TopConst任务参照【3】，文中的样本举例是： “[Then] [very dark gray letters on a black screen] [appeared] [.]” -> “ADVP NP VP .”。构成成20类分类任务，其中19个是常见的结构，1个类别代表其他结构。

（3）语意信息

        包括五个任务，Tense、SubjNum、ObjNum、SOMO和CoordInv。Tense、SubjNum、ObjNum是时态、语态和单复数信息，既包含语意信息，也包含语法信息，作者认为两者的边界是模糊的。SOMO(semantic odd man out)选择一个名词或者动词进行随机替换，替换过程bigram的词频结构不发生。CoordInv是变化两个句子的相对位置，例如将有因果关系的两个句子，因果关系互换。

    上述的10个任务，有词级别的任务，也有句子级别的任务。

2 实验结果讨论

    模型上，作者使用了三种模型，BiLSTM-last、BiLSTM-max和Gated ConvNet，然后在7个任务上进行了句子向量的训练，同时作者还进行了人工对照和Untrained对照实验。实验结果如下图：

       文章中作者对模型和训练任务进行了详细的结果比较，这里讨论几点：

       1 模型结构主要决定向量的生成。模型结构将语言学性质表达成一种自己认为合适的向量，表达的方式主要由模型结构决定。具体表达的语言学特征，各个模型是不同的。意思就是神经网络是一种特征提取器，nlp模型的发展也是在模拟更加的接近语言学特征。

       2 NiLSTM-max模型在Untrained时的结果，表明该模型结构本身能够学习更多的语言学先验特征。作者后面还会该模型进行深入的探索。

       

       这个文章发出的时间比bert早，所以没有bert句子向量的讨论，后面我们尝试一下bert的句子句子向量。

 

参考文献：

【1】https://arxiv.org/abs/1805.01070

【2】Aligning books and movies: Towards story-like visual explanations by watching movies and reading books.

【3】Does string-based neural MT learn source syntax?