句子语义表征/句子向量

大体上可以分为无监督方式和监督方式

无监督句子语义表征方法：

１、一种最经典的方法是在One-hot词语语义表征的基础上使用Bag-of-Words技术。缺点：一是它丢失了词语在句子中的顺序信息；二是它忽略了词语的语义信息，每个词的One-hot表征都是等距离的。

2、类似的还有用word2vec来替换One-hot词向量，使用Bag-of-Words技术，构成句子向量。还可以结合TF-IDF技术来调整词与的权重，或者训练学习每个词的权重。详细见Cedric De Booms的相关论文。

3、基于自编码器，严格说这不是无监督方法，而是一种自监督方法，标签产生自输入数据。输入--》编码--》解码--》输出，输入和输出相同。语义编码C即为句子编码。

4、Paragraph Vector方法，通过预测句子中的词与来获得句子的表征。

5、Ship-Thought获得句子表征

该方法拓展了词语的分布式语义假设，它假设上下文相似的句子往往有相似的语义。借鉴了word2vec中的skip-gram模型，通过当前的句子来预测上文和下文的句子，从而得到句子表征。语义和语法属性一致的句子被映射到相似的向量表示，可以给任意的句子生产Vector。encoder部分的最后一个词的hidden state作为decoder的输入来生成词。

 

有监督句子语义表征方法：

        有监督句子语义表征通常是针对某个特定的自然语言处理任务训练得到的。通常意义上，针对特定任务训练得到句子语义表征会优于通用的句子语义表征。