机器学习08-RNN之理论篇

最新推荐文章于 2023-01-17 10:34:53 发布

东阳z

最新推荐文章于 2023-01-17 10:34:53 发布

阅读量149

点赞数 1

分类专栏：人工智能

本文链接：https://blog.csdn.net/qq_22473333/article/details/107459642

版权

34 篇文章 2 订阅

订阅专栏

东阳的学习记录，坚持就是胜利！

Slot Filling（填空）：eg: I would like to arrive $\underline{地点}$ on $\underline{时间}$
在1的基础上，需要判断出发地（leave）和目的地（arrive）

考虑以上两个需求，我们可以看到，如果使用传统的神经网络，是无法解决这个问题的。如下图：我们无法只能将Taipei的前一个单词记为other(不解释)。这就导致了，途中上句和下句是一样的输入，在传统的神经网络中，一样的输入肯定会是一样的输出，故传统方法不可行。
在这里插入图片描述

首先看下面这张图，这是最简单的RNN。该图表明了RNN的基本原理，将上次的神经元中的数据保存起来，用到下一次中。

Jordan Network存的是output值，据说可以得到比较好的效果。（output时有target的，我们比较清楚memory中的是什么东西。）
在这里插入图片描述

结构如下图，我们可以看到每一个output的得出都是考虑了正向和反向的。
在这里插入图片描述

LSTM的结构如下图：有三个门，门什么时候关闭，什么时候开启时可以学习的。
在这里插入图片描述

可以看到当门的输出为0时，代表关闭。
在这里插入图片描述

一个例子如下图：

在这里插入图片描述

在这里插入图片描述

关注