- 博客(5)
- 资源 (5)
- 收藏
- 关注
转载 Encoder-Decoder模型和Attention模型
这两天在看attention模型,看了下知乎上的几个回答,很多人都推荐了一篇文章Neural Machine Translation by Jointly Learning to Align and Translate 我看了下,感觉非常的不错,里面还大概阐述了encoder-decoder(编码)模型的概念,以及传统的RNN实现。然后还阐述了自己的attention模型。我看了一下,自己做了一些
2017-01-03 18:30:07 2041
转载 循环神经网络
本文的概念和结构部分摘自循环神经网络惊人的有效性(上),代码部分来自minimal character-level RNN language model in Python/numpy 我对代码做了详细的注释循环神经网络序列 普通神经网络和卷积神经网络的一个显而易见的局限就是他们的API都过于限制:他们接收一个固定尺寸的向量作为输入(比如一张图像),并且产生一个固定尺寸的向量作
2017-01-03 14:31:50 1291
转载 深度学习中优化方法总结
最近在看Google的Deep Learning一书,看到优化方法那一部分,正巧之前用tensorflow也是对那些优化方法一知半解的,所以看完后就整理了下放上来,主要是一阶的梯度法,包括SGD, Momentum, Nesterov Momentum, AdaGrad, RMSProp, Adam。 其中SGD,Momentum,Nesterov Momentum是手动指定学习速率的,而后面的A
2017-01-03 12:51:43 3153
转载 深度学习中的激活函数和损失函数
3. 激活函数和损失函数3.1 激活函数关于激活函数,首先要搞清楚的问题是,激活函数是什么,有什么用?不用激活函数可不可以?答案是不可以。激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数,那么该网络仅能够表达线性映射,此时即便有再多的隐藏层,其整个网络跟单层神经网络也是等价的。因此也可以认为,只有加入了激活函数之后,深度神经网络才具备了分层的非线性映射学习
2017-01-03 12:11:43 3629
转载 深度学习性能提升的诀窍
原文: How To Improve Deep Learning Performance作者: Jason Brownlee你是如何提升深度学习模型的效果? 这是我经常被问到的一个问题。有时候也会换一种问法:我该如何提高模型的准确率呢? ……或者反过来问:如果我的网络模型效果不好,我该怎么办?通常我的回答是“具体原因我不清楚,但我有一些想法可以试试”。然后我会列举一些我认为能够提升
2017-01-01 22:42:16 1179
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人