关于 句子向量 和 词向量 的想法

Motivation：

在很多地方都在讨论，句子级别和字符级别。
这两者，在实际操作中到底有什么区别呢？

通常来说，句子级别是[CLS] 或者 字符级向量的avg max等等。或者说是一些特殊的组合。
那这些向量到底有什么区别以及会带来多少信息上的不同。

从本人角度来看，我更想知道的是，句子的向量是不是比字符的embedding有更多的句子层次的信息。虽然，暂时没有见到相关的讨论，但也有很多文章对该问题进行了说明。

Sentence bert

主要做的事情：

1. 实验说明了mean pooling的效果比较好，比CLS和MAX策略要好。
2. 在mean pooling的基础上，作者用基于已经预训练好的bert模型的孪生网络，去训练一个，新的 句子级别的向量，为什么这么做呢？因为，重新设计的这个网络，通过新的loss：句子相似度，来让这里得到的句子级别的 向量，能更好的表示句子级别的语义相似度。