循环神经网络常见的结构(学习笔记)

  • 多对1
    例如情感分类,根据句子预测情感。
    文档分类,输出情感,但是下面的结构存在上下文、长时间的序列损失的缺点。
    在这里插入图片描述

  • 一对多
    看图描述文字任务。找到CNN特征图的图片之间的对应关系。
    在这里插入图片描述

  • 多对多
    机器翻译

Sequence to Sequence
编码器和解码器,等价与 many-to-One + One-to-many ,缺点1是ht存在信息瓶颈, 缺点2是在推断的时候,需要递归的进行推断,会形成误差累积(解决方法:Random Sampling、Greedy Search、树搜索 Beam Search)。
在这里插入图片描述

  • Beam Search
    根据输入的序列x,给出若干个输出的备选。
    p(y1,...yTx)=p(y1x)p(y2x,y1)...P(yTx,y1,...,yT1)p(y_1,...y_T|x) = p(y_1|x)\cdot p(y_2|x, y_1)...P(y_T|x,y_1, ..., y_{T-1} )
    在这里插入图片描述
    Beam Search 不是端到端的,不可微,类似 Pooling是不可微的。

语言建模
也称为自回归的模型:输入和输出的长度是一样的,序列时间的间隔是-1,使用滑动窗口。
在这里插入图片描述

展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客
应支付0元
点击重新获取
扫码支付

支付成功即可阅读