Deep Learning 读书笔记（十二）：A Neural Probabilistic Language Model

        寒假在家又捡起好久不写的博客。这几天断断续续的在改自己写的第一篇论文，做的是有关图像处理方面的东西。打算在这篇文章完了之后，这方面就告一段落了吧，对这方面不是很能够提起兴趣。打算之后去做自然语言处理吧，这不是最近很多大牛都开始往这个方向转型嘛，就当是随大流了。今年也是捡起来原来看的几篇文章，把深度学习在自然语言处理方面的方法，从基础开始再回顾一遍。今天看的这篇文章呢，也算是拉开了深度学习在NLP方面的新序幕吧，虽然说新的方法较统计语言模型并没有在效果上有质的提升，但对于语意方面的处理较之原来的方法还是具有较大的优势。

        在利用统计语言模型来解决自然语言处理问题时，经常会遇见的问题就是维度灾难，特别是当测试数据集中的文本与训练数据集中的文本不太相似时。而且利用统计的方法训练一个较大的模型，同时将训练时间控制在一个合理的时间范围内是一件比较困难的事。而本篇文章就提出了一种关于自然语言处理问题的新模型，它能够同时学习到关于单词的 distributed presentation 和关于单词序列的概率函数。通过实验能够发现，该模型较之原来效果最好的n-gram模型有些许的提升。而且对于处理长文本有着更大的优势。

        如何体现出这篇文章的方法与传统方法在算法的泛化能力上的不同，就在于“how probability mass that is initially concentrated on the training points is distributed in a larger volume, usually in some form of neighborhood around the training points.” 在高维空间中，distribute