- 博客(6)
- 收藏
- 关注
原创 论文End To End speech里一种seq2seq
在End To End speech里介绍了一种更好的seq2seq的模型,效果我没有实际比较过,但是思路值得学习,接下来分享下,我的理解。虽然这篇论文讲的是Text To speech,但是主要模型架构使用的是seq2seq。主要的改进也就是引入了CBHG模型,Conv-Bank-Highway-Gru_rnn。在encode端之后,加入了pre-net,也就是使用非线性变换,作用在每一
2018-02-04 07:23:07 742
转载 使用DQN训练Grid_word任务
“Tensorflow实战”一书中,强化学习一章里讲到了DQN网络,很有感触,在这里和大家分享一下。DQN网络也是Q-learning的升级版,在原有的Q-learning中加入了卷积层。由于深度学习需要大量的样本数据,DQN也就引入了Experience Replay,主要思想就是存储Agent的Experience,也就是样本,每次训练都会随机抽取一些样本。为了避免网络短视只学习到最新
2018-02-03 08:02:00 1272
转载 残差网络-ResNet V2
说起来ResNet也是咱们华人的骄傲,它是由4名华人提出来的。在ILSVRC 2015比赛中获得了冠军。话不多说,还是来谈谈我的理解的吧,ResNet很像Highway Network,都是允许原始输入信息直接传输到后面的层中。在传统的神经网络中,会出现Degradation的问题,随着准确率上升达到饱和,再持续增加深度会导致准确率下降,而且不光是再测试集误差会增大,训练集也会出现同样的问
2018-02-01 21:00:21 2311
转载 TensorFlow:实战Google深度学习框架,数据增强
在“TensorFlow:实战Google深度学习框架”一书中,发现一段很好的增强图像数据样本数量的方法,和大家分享下。import matplotlib.pyplot as pltdef distort_color(image, color_ordering=0): if color_ordering == 0: image = tf.image.random_b
2018-02-01 13:27:33 3854
原创 浅谈DCGAN
要想讲清楚DCGAN就要必须先说GAN,毕竟DCGAN是前者的升级版。GAN也就是对抗生成网络,所谓对抗生成,也就是有两个网络,一个D(判别),另一个G(生成)。两个网络的目标函数,是不一样的。G网络的目标函数是让生成的图片,在D网络中尽量判别为真,而D网络的目标就是能最大限度的判别出输入图片,是由G网络生成的,还是非生成的。DCGAN也是这样的思想,只不过加上了卷积层,来更好的实现。有4
2018-02-01 13:11:54 3912 1
原创 seq2seq,算法基本架构
首先,感谢唐宇迪课程。更多内容请加入学习。接下来说说我对于seq2seq的理解。seq2seq简单来说就一个编码,再解码的过程,tensorflow官网也有相应的解释seq2seq再或者githup上这篇写的很详细。下面是主要的架构,导入一些基础库,是必不可少的。import pandas as pdimport numpy as npimport tensorflow
2018-01-26 14:15:21 3287 2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人