Transformer

一、词向量

        词向量用来解决的问题：词语再计算机中如何表示。One-hot方法表示词向量，会发生内存爆炸。因此我们采用向量的形式来表示词语，即用一个多维的向量来表示词语，即word2vec。

        word2vec的一个假设：文本中离的越近的词相关度越高。词向量矩阵计算有两种方法：1、CBOW；2、skip-gram。这两者的区别是通过预测对象不同区分的。我们需要区分上下闻和中心词语。故需要定义一个窗口大小，指定一个词周围多大的方位算是该词的上下文词。最大化中心词与上下文词之间相似度即可得到词向量。

         理论上讲，要理解中心词，必须综合考虑上下文词和非上下文词，但是如果文本过长，非上下文词的量过大，会产生计算爆炸。故这里采用一种负采样的方式。

         评估词向量有多种方法，常用的有如下三种，多维可视化可以使用主成分分析法降维分析。词向量可以用于主题聚类、情感分析、信息检索等领域。

 二、循环神经网络

        RNN将神经元串行起来，每个神经元能用它的内部变量保存之间输入的序列信息来把整个序列浓缩成抽象表示，并据此进行分类或生成新的序列，解决了传统前馈神经网络无法处理变长序列和难以捕捉序列中长距离的依赖关系的问题，基于此特点RNN在机器翻译、序列标注、图像标注、推荐系统、智能聊天机器人和自动作词作曲等取得了广泛的应用。

         RNN有多种建模方式：1对N、N对N、N对1、N对M等等。