ML
文章平均质量分 92
Thinking_boy1992
这个作者很懒,什么都没留下…
展开
-
RNN不合理的有效性(Unreasonable Effectiveness)
Vanilla NN(全连接神经网络)或CNN的一个明显的缺陷是它们的接口太受限:它们接受固定长度的向量作为输入,输出固定长度的向量。模型进行固定步骤的计算来映射向量之间的关系。RNN令人惊讶的原因是它允许我们操作向量的序列:输入序列或输出序列,或者输入输出都是序列;原创 2016-11-08 13:43:08 · 2555 阅读 · 0 评论 -
基于时间的反向传播算法和梯度消失 -part3
本文翻译自 前文从零开始实现了RNN,但是没有详细介绍Backpropagation Through Time (BPTT) 算法如何实现梯度计算。这篇文章将详细介绍BPTT。之后会分析梯度消失问题,它导致了LSTM和GRU的发展,这是两个在NLP领域最为流行和有效的模型。 梯度消失问题在1991年被发现,但在近来受到关注,因为深度框架的广泛应用; 为了充分理解这个教程,我建议要熟悉部分分化和原创 2016-11-12 11:33:43 · 3984 阅读 · 0 评论 -
RNN 教程-part4,用python实现LSTM/GRU
本文翻译自 代码在Github上 这是Part4 ,RNN教程的最后一部分; 在这一部分,主要学习LSTM神经网络和GRU。LSTM在1997年首次提出,几乎是最流行的用于自然语言处理的深度学习模型。GRUs在2014年首次提出,是LSTMs的简单变体。让我们关注LSTMs,再看看GRUs有什么不同。 LSTM NETWORKS前面提到,梯度消失问题能够阻止标准RNNs学习长距离的依赖原创 2016-11-16 10:49:11 · 6025 阅读 · 0 评论 -
深度学习库Deep Learning Libraries by Language
本文翻译自 python 1theano是一个python库,使用数值数组对数值表达式进行定义和计算,它使得使用python编写深度学习算法更加简单。在theano的基础之上,构建了很多库: 1 Keras 是一个极简主义、高度模块化的神经网络库,使用python编写,使用Theano ,在GPU和CPU上进行优化的张量计算。 2 Pylearn2原创 2016-11-17 14:53:03 · 1096 阅读 · 0 评论 -
循环神经网络在Python 、Numpy和Theano中的实现
这篇文章翻译自实现代码在这部分,我们将使用Python从头实现一个完整的RNN,并且使用theano进行优化。语言模型: 我们的目的是使用RNN构建语言模型; 假设我们有包含m个单词的句子,语言模型能够让我们预测这个句子存在的概率;原创 2016-11-08 09:46:02 · 2634 阅读 · 1 评论