文章目录
一、词的表示
- one-hot编码:稀疏,向量之间均是正交关系,不能表示语义。
- word class:将相同属性的词归为一类,但分类标准过意单一、片面。如cat、dag、bird都属于动物,但是dog、cat属于爬行动物,而bird属于飞行动物,难以区分。
- word embedding:使用词向量表示词特征,相似的词、向量接近,在空间较近。但无法解决一词多义问题,即每个word只有一个词向量。
- contextualized word embedding:同一个词在不同的上下文中有不同的表示。
二、LSTM概述
长短记忆神经网络——通常称作LSTM,是一种特殊的RNN,能够学习长的依赖关系。是为了避免长依赖问题而精心设计的。记住较长的历史信息实际上是他们的默认行为,而不是他们努力学习的东西。
2.1 标准RNN结构如下(单个tanh层)
2.2 lstm 结构图如下
2.3 lstm的4层交互结构说明:
LSTM 的4大交互模块 | 结构片段 | 说明 |
---|---|---|
遗忘门 |