- 博客(5)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 Encoder-Decoder模型和Attention模型
这两天在看attention模型，看了下知乎上的几个回答，很多人都推荐了一篇文章Neural Machine Translation by Jointly Learning to Align and Translate 我看了下，感觉非常的不错，里面还大概阐述了encoder-decoder(编码)模型的概念，以及传统的RNN实现。然后还阐述了自己的attention模型。我看了一下，自己做了一些
2017-01-03 18:30:07
2041
转载 循环神经网络
本文的概念和结构部分摘自循环神经网络惊人的有效性（上），代码部分来自minimal character-level RNN language model in Python/numpy 我对代码做了详细的注释循环神经网络序列 普通神经网络和卷积神经网络的一个显而易见的局限就是他们的API都过于限制：他们接收一个固定尺寸的向量作为输入（比如一张图像），并且产生一个固定尺寸的向量作
2017-01-03 14:31:50
1291
转载 深度学习中优化方法总结
最近在看Google的Deep Learning一书，看到优化方法那一部分，正巧之前用tensorflow也是对那些优化方法一知半解的，所以看完后就整理了下放上来，主要是一阶的梯度法，包括SGD, Momentum, Nesterov Momentum, AdaGrad, RMSProp, Adam。 其中SGD,Momentum,Nesterov Momentum是手动指定学习速率的,而后面的A
2017-01-03 12:51:43
3153
转载 深度学习中的激活函数和损失函数
3. 激活函数和损失函数3.1 激活函数关于激活函数，首先要搞清楚的问题是，激活函数是什么，有什么用？不用激活函数可不可以？答案是不可以。激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习
2017-01-03 12:11:43
3629
转载 深度学习性能提升的诀窍
原文： How To Improve Deep Learning Performance作者： Jason Brownlee你是如何提升深度学习模型的效果？ 这是我经常被问到的一个问题。有时候也会换一种问法：我该如何提高模型的准确率呢？ ……或者反过来问：如果我的网络模型效果不好，我该怎么办？通常我的回答是“具体原因我不清楚，但我有一些想法可以试试”。然后我会列举一些我认为能够提升
2017-01-01 22:42:16
1179
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人