语言模型（预训练与词向量）第二篇-NNLM（Nerual Network Language Model）

  大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。

  本文主要介绍了语言模型（预训练与词向量）第二篇-NNLM（Nerual Network Language Model），希望能对大家有所帮助。

1. 概述

  统计语言模型的目标：学习序列中单词的联合概率分布。

  NNLM神经语言模型参考论文A Neural Probabilistic Language Model。

  语言模型的一大问题是维数灾难，例如，如果想对自然语言中单词表大小为100000的10个相连的单词建立联合分布模型，将会有