LSTM结构与Elmo网络结构

一、词的表示

1. one-hot编码：稀疏，向量之间均是正交关系，不能表示语义。
2. word class：将相同属性的词归为一类，但分类标准过意单一、片面。如cat、dag、bird都属于动物，但是dog、cat属于爬行动物，而bird属于飞行动物，难以区分。
3. word embedding：使用词向量表示词特征，相似的词、向量接近，在空间较近。但无法解决一词多义问题，即每个word只有一个词向量。
4. contextualized word embedding：同一个词在不同的上下文中有不同的表示。

二、LSTM概述

  长短记忆神经网络——通常称作LSTM，是一种特殊的RNN，能够学习长的依赖关系。是为了避免长依赖问题而精心设计的。记住较长的历史信息实际上是他们的默认行为，而不是他们努力学习的东西。

2.1 标准RNN结构如下(单个tanh层)

2.2 lstm 结构图如下

2.3 lstm的4层交互结构说明:

LSTM