用机器学习打造聊天机器人(六) 原理篇

本文是用机器学习打造聊天机器人系列的第六篇，主要介绍代码中用到的相关算法的原理。了解算法原理，可以让我们知道程序背后都做了些什么，为什么有时候会出现错误以及什么场景下选择哪种算法会更合适。

• word2vec
  我们使用的词向量模型就是基于word2vec训练的，word2vec 是 Google 在 2013 年推出的一个 NLP 工具，它的特点 是将所有的词向量化，这样词与词之间就可以定量的去度量他们之间 的关系，挖掘词之间的联系。
  
  word2vec 基于分布式表征(Dristributed Representation)的 思想，相比于 One hot 可以用更低维数的向量表示词汇。 有一个有趣的研究表明，用词向量表示我们的词时，我们可以发 现：King - Man + Woman = Queen。
  word2vec 实现了 CBOW 和 Skip-Gram 两个神经网络 模型，SkyAAE 在训练词向量的时候就是使用的 CBOW 模型。
  
  CBOW（Continuous Bag-of-Words，连续词袋）的核心思想是可 以用一个词的周围的词来预测这个词。该模型的训练输入是某一个特 征词的上下文相关的词对应的词向量，而输出就是