seq2seq模型简单实现

理论参考:https://mp.weixin.qq.com/s/qXMRHxDDRa-_rJZMhXWB4w http://blog.csdn.net/liuchonge/article/details/78824572 http://blog.csdn.net/liuchonge/a...

2017-12-26 17:13:32

阅读数:945

评论数:2

加法的attenion简单的实现

一般Attention可以用于seq2seq中,也可以就用于简单的rnn模型中,下面介绍用于简单的rnn模型+attenion机制实现,流程答题可以分为: rnn部分,假如模型输入是一个这样tensor: rnn_outputs=[batch,seq_len,hidden_size...

2017-12-08 17:03:00

阅读数:288

评论数:0

rnn、lstm,gru中output信息说明

在一般的rnn模型中,rnn一般输出的形式如下[batch,seq_len,hidden_size],如果用做分类,一般是取最后一个状态[batch,hidden_size],如果用于做词性标注和分词则取全部的状态[batch,seq_len,hidden_size],下面介绍下用于文本分类取最后...

2017-12-08 17:01:55

阅读数:218

评论数:0

Network-in-Network简单实现,基于tensorflow

Network-in-Network 实际是2014年的提出的论文,深度学习发展这么猛,实际已经算是比较老的论文了,其理论基础是在卷积的基础上不再依赖于全连接层,只依赖于卷积、池化、relu层,后面直接接softmax,改论文作者在多层感知器中采用的激活函数是ReLU。这样的局部多层感知器恰好也可...

2017-12-05 17:57:49

阅读数:389

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭