自然语言处理之长短时记忆网络(六)

1. 情感倾向性分析

长短时记忆网络的基本概念

长短期记忆网络(LSTM,Long Short-Term Memory)是一种时间循环神经网络,是为了解决一般的RNN(循环神经网络)存在的长期依赖问题而专门设计出来的,所有的RNN都具有一种重复神经网络模块的链式形式。

  • LSTM网络结构
  • LSTM的门控机制
  • LSTM的变种

2 LSTM网络结构

2.1 LSTM网络结构及其特点

  • 基于RNN结构设计,从左到有依次阅读整个句子,并不断更新记忆。
  • LSTM在不同cell之间传递的是2个记忆信息,而不像循环神经网络一样只有一个记忆信息。
    在这里插入图片描述

2.2 LSTM内部结构

  • 区别于循环循环神经网络,LSTM最大的特点是,在更新内部记忆的时候,引入了遗忘机制,那就是:允许网络忘记一些过去阅读过程中看到的一些无关紧要的内容,只保留有用的历史内容,通过这种方式,延长了记忆长度。
    在这里插入图片描述

3 LSTM门控机制

3.1 LSTM的关键:细胞状态

  • 细胞状态类似于传送带,直接在整个链上运行,只有一些少量的线性交互。信息在上面保持不变会很容易实现。
    在这里插入图片描述
  • LSTM通过“门控机制”让信息选择性通过,来去除或者增加信息到细胞状态
  • 包含一个sigmoid神经网络层和一个piontwise乘法操作。
  • Sigmiod层输出0到1之间的概率值,描述每个部分有多少量可以通过。
    在这里插入图片描述

3.2 遗忘门

  • 第一步:决定从“细胞状态”中丢弃什么信息
    在这里插入图片描述

3.2 输入门

  • 第二步:决定放什么信息到“细胞状态中”
    在这里插入图片描述

3.3 更新状态

  • 第三步:更新细胞状态
    在这里插入图片描述

4 LSTM变种

4.1 变种1

  • 增加窥视孔链接(peephole connection)
  • 让门层也会接受细胞状态的输入
    在这里插入图片描述

4.2 变种2

  • 通过使用coupled忘记和输入门
  • 之前是分开确定需要忘记和添加的信息,这里是一同作出决定。
    在这里插入图片描述

4.3 变种3:GRU

  • GRU有两个门,分别为更新门和重置门,即图中的zr和rt更新门用于控制前一时刻的状态信息被带入到当前状态中的程度,更新门的值越大说明前一时刻的状态信息带入越少,重置门用于控制忽略前一时刻的信息的程度,重置门的值越小说明忽略的越多。
    在这里插入图片描述
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值