- 博客(4)
- 收藏
- 关注
RSS订阅翻译 循环神经网络教程 第四部分 用Python 和 Theano实现GRU/LSTM RNN
本教程的github代码在本文中，我们将了解LSTM（长期短期内存）网络和GRU（门控循环单元）。 LSTM是1997年由Sepp Hochreiter和JürgenSchmidhuber首次提出的，是当下最广泛使用的NLP深度学习模型之一。 GRU，首次在2014年使用，是一个更简单的LSTM变体，它们有许多相同的属性。我们先从LSTM开始，后面看到GRU的不同的之处。LSTM 网络在第3部分，我
2016-12-31 17:32:59
2869
翻译 循环神经网络教程第3部分 BPTT
在本教程的前面部分，我们从头实现了RNN，但没有详细介绍如何通过BPTT算法计算梯度。在本部分中，我们将简要概述BPTT并解释它与传统反向传播的区别。然后我们将尝试理解消失梯度问题，这导致了LSTM和GRU的发展，这两个是目前应用于NLP（和其他领域）最流行的模型。消失梯度问题最初是由Sepp Hochreiter于1991年发现的，最近由于深度架构的应用的增加而受到关注。 要完全理解这一部分，我
2016-12-31 12:23:06
1813
1
翻译 循环神经网络教程-第二部分 用python numpy theano实现RNN
这是Github的代码地址在这一部分我们将会用Python从头实现一个完整的RNN，并使用Theano（一个在GPU上执行操作的库）优化我们的实现。 Github上提供了完整的代码。我将跳过一些对于理解循环神经网络不是必要的样板代码，但所有这些代码也都在Github上。语言模型我们的目标是用RNN建立一个语言模型，也就是说现在有一个有m个词的句子，语言模型允许我们预测观察句子（在给定数据集中）的概率
2016-12-30 15:16:05
6011
3
翻译 循环神经网络教程-第一部分 RNN介绍
循环神经网络教程-第一部分 RNN介绍循环神经网络(RNNs)是非常流行的模型，它在许多NLP任务上都表现出了巨大的潜力。虽然它很流行，但是详细介绍RNNs以及如何实现RNNs的文章却很少。这篇教程旨在解决上述问题，教程分为4部分： 1. 介绍RNNs(这篇教程) 2. 用Tensorflow实现RNN 3. 理解BPTT后向传播算法以及梯度消失/爆炸问题 4. 实现GRU/RNN 作为教
2016-12-29 15:11:02
4895
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人