n-gram，fasttext，elmo，bert

n-gram

n-gram是基于语言模型的算法，基本思想是将文本内容按照子节顺序进行大小为N的窗口滑动操作，最终形成窗口为N的字节片段序列。而且需要额外注意一点是n-gram可以根据粒度不同有不同的含义，有字粒度的n-gram和词粒度的n-gram，顾名思义。

n-gram的第一个特点是某个词的出现依赖于其他若干个词，第二个特点是我们获得的信息越多，预测越准确。我想说，我们每个人的大脑中都有一个N-gram模型，而且是在不断完善和训练的。我们的见识与经历，都在丰富着我们的阅历，增强着我们的联想能力。

N-gram模型是一种语言模型（Language Model，LM），语言模型是一个基于概率的判别模型，它的输入是一句话（单词的顺序序列），输出是这句话的概率，即这些单词的联合概率（joint probability）。

N-gram本身也指一个由NNN个单词组成的集合，各单词具有先后顺序，且不要求单词之间互不相同。常用的有 Bi-gram (N=2N=2N=2) 和 Tri-gram (N=3N=3N=3)，一般已经够用了。例如‘I love deep learning’这句话，我可以分解的 Bi-gram 和 Tri-gram ：

为了解决参数空间过大的问题，引入马尔科夫假设（Markov Assumption）：一个词的出现仅与它之前的若干个词有关。

一个计算的例子如下。

相较于glove，n-gram更重视语句的顺序，一个较好的模型结果是，在共现