- 博客(4)
- 收藏
- 关注
翻译 循环神经网络教程 第四部分 用Python 和 Theano实现GRU/LSTM RNN
本教程的github代码在本文中,我们将了解LSTM(长期短期内存)网络和GRU(门控循环单元)。 LSTM是1997年由Sepp Hochreiter和JürgenSchmidhuber首次提出的,是当下最广泛使用的NLP深度学习模型之一。 GRU,首次在2014年使用,是一个更简单的LSTM变体,它们有许多相同的属性。我们先从LSTM开始,后面看到GRU的不同的之处。LSTM 网络在第3部分,我
2016-12-31 17:32:59 2892
翻译 循环神经网络教程第3部分 BPTT
在本教程的前面部分,我们从头实现了RNN,但没有详细介绍如何通过BPTT算法计算梯度。在本部分中,我们将简要概述BPTT并解释它与传统反向传播的区别。然后我们将尝试理解消失梯度问题,这导致了LSTM和GRU的发展,这两个是目前应用于NLP(和其他领域)最流行的模型。消失梯度问题最初是由Sepp Hochreiter于1991年发现的,最近由于深度架构的应用的增加而受到关注。 要完全理解这一部分,我
2016-12-31 12:23:06 1839 1
翻译 循环神经网络教程-第二部分 用python numpy theano实现RNN
这是Github的代码地址在这一部分我们将会用Python从头实现一个完整的RNN,并使用Theano(一个在GPU上执行操作的库)优化我们的实现。 Github上提供了完整的代码。我将跳过一些对于理解循环神经网络不是必要的样板代码,但所有这些代码也都在Github上。语言模型我们的目标是用RNN建立一个语言模型,也就是说现在有一个有m个词的句子,语言模型允许我们预测观察句子(在给定数据集中)的概率
2016-12-30 15:16:05 6041 3
翻译 循环神经网络教程-第一部分 RNN介绍
循环神经网络教程-第一部分 RNN介绍循环神经网络(RNNs)是非常流行的模型,它在许多NLP任务上都表现出了巨大的潜力。虽然它很流行,但是详细介绍RNNs以及如何实现RNNs的文章却很少。这篇教程旨在解决上述问题,教程分为4部分: 1. 介绍RNNs(这篇教程) 2. 用Tensorflow实现RNN 3. 理解BPTT后向传播算法以及梯度消失/爆炸问题 4. 实现GRU/RNN 作为教
2016-12-29 15:11:02 4944
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人