神经网络语言模型之N-gram

1.闲言

          每天晚上睡觉之前，我都会说服自己白天发生的一切都是假的，都已经过去了。就好像每天早上醒来，我也会不由自主的觉得昨天晚上发生的一切也都是假的。其实仔细想一下，现实世界能够进入梦中的事物是很有限的。同样，梦中的事物能够流到现实世界的也是很有限的。那么在入口和出口的地方应该会有类似于过滤器一样的东西，把大部分的事物都给拦了下来。晚上我就好像一堆沙子一样躺在那个地方，当清晨的太阳照射进来的时候，再凝聚成人的样式起来活动。在此我想表述的意思，并不是说这个世界是虚幻的，而是说它无比的真实。真实的世界就是丰富多彩的，充满着各种各样神奇又美丽的事物。规则适用于规则以下的事物，更高的规则适用于更高的事物。你就尽管的胡思乱想，想破了天，也不会比这世界本来的样式更丰富。

2.语言模型 

          如何来理解语言模型，它相当于是人类对于信息进行编码和解码的方式。在人类大脑中存在的，除了一堆词汇之外，还有一些东西类似于风格、气质、调调等。仔细思考的话我们会发现，我们的表达其实并不像是一道论述题，而更像是一道选择题。我们会从自己记忆中存在的各种语言模型中，选择一种自己觉得最好的，以这种方式来对词汇进行组合编码，输出自己的观点。包括我们的思维、行为方式等很多看起来是自由和任意的东西，从本质上讲也都是选择的过程。也许这些东西的待选模型会比较多，但也是有限的。即使一个人在胡说八道，那他也一定是按照某种模型在胡说八道。这些模型的存在，实现了信息在人与人之间的编码和解码。模型和符号的有限性，也决定的人类本身的有限性。神经网络中的语言模型，更多描述的是词汇之间的组合方式，应用上下文去预测当前词。

3.N-gram

         n-gram是一种统计语言模型,它基于马