2017年02月_FocusOneThread

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载不少Gate或Node运算子的反向传播代码

https://github.com/vinhkhuc/MemN2N-babi-python/blob/master/memn2n/nn.py

2017-02-27 09:33:40 729

翻译 End-To-End Memory Networks 论文翻译

摘要我们介绍一种在大的外置内存的带循环注意力模型的神经网络。架构是Memory Network的一种，而需要较少的监督学习，它也能被看做是一种RNNsearch的扩展。它可以用作问答系统和语言模型。1 引言两个标志性的人工智能研究的挑战是制作这两种模型：在回答问题的任务里制作多个计算步骤以及在顺序数据里描述长的元素依赖。在这篇论文里我们提出一种新颖的RNN，它在输出一个符号

2017-02-23 17:35:59 3081

原创 theano scan arange shape 实例

import theanoimport numpy as npimport theano.tensor as Tones1 = theano.shared(np.float32([[1,2,3],[4,5,6],[7,8,9]]))ones2 = theano.shared(np.float32([[9,8,7],[6,5,4],[3,2,1]]))print(ones1.eval())prin

2017-02-20 21:15:06 823

原创 theano scan 实例

import theanoimport numpy as npones1 = theano.shared(np.float32([[1,2,3],[4,5,6],[7,8,9]]))ones2 = theano.shared(np.float32([[9,8,7],[6,5,4],[3,2,1]]))print(ones1.eval())outputs, updates = theano.sca

2017-02-20 21:11:10 540

原创 theano scan 实例

import theanoimport numpy as npones = theano.shared(np.float32([[1,2,3],[4,5,6],[7,8,9]]))print(ones.eval())outputs, updates = theano.scan(lambda result : result + 1, se

2017-02-20 20:58:45 639

原创 theano concatenate 实例

import theanoimport numpy as npimport theano.tensor as Tones = theano.shared(np.float32([[1,2,3],[4,5,6],[7,8,9]]))print(ones.get_value())result = T.concatenate([ones,ones],axis=0)print(result.eval(

2017-02-20 14:03:19 2523

原创 theano stack 实例

import theanoimport numpy as npimport theano.tensor as Tones = theano.shared(np.float32([[1,2,3],[4,5,6],[7,8,9]]))print(ones.get_value())result = T.stack([ones,ones],axis=0)print(result.eval())resu

2017-02-20 13:54:51 1331

import theanoimport numpy as npones = theano.shared(np.float32([[1,2,3],[4,5,6],[7,8,9]]))print(ones.get_value())print(ones.reshape([1,-1]).eval())print(ones.reshape((1,-1)).eval())print(ones.reshape(

2017-02-17 15:16:31 1883

转载 word2vec Skip-gram模型精华理解

https://github.com/jikexueyuanwiki/tensorflow-zh/blob/master/SOURCE/tutorials/word2vec.md#skip-gram-模型

2017-02-14 14:27:13 2392

原创 tensorflow 分布式数据并行异步训练 between-graph 自己写的实例 RNN

#运行方法见上一篇文章import tensorflow as tfFLAGS = tf.app.flags.FLAGStf.app.flags.DEFINE_string('job_name', '', 'One of "ps", "worker"')tf.app.flags.DEFINE_string('ps_hosts', '', "

2017-02-10 17:47:34 2580

原创 tensorflow 分布式数据并行 in-graph 自己写的实例

# 通用的数据并行还是推荐between-graph的，因为in-graph要自己归并cost之类的# 10.100.203.75这台运行#python test_dis.py --job_name=worker --ps_hosts=10.100.203.75:1111 --worker_hosts=10.100.206.209:2222,10.100.203.75:2223 --task_id

2017-02-10 13:58:05 2938 3

原创 tensorflow 分布式数据并行异步训练 between-graph 自己写的实例 CNN

# 通用的数据并行还是推荐between-graph的，因为in-graph要自己归并cost之类的# 10.100.203.75这台运行#python test_dis2.py --job_name=worker --ps_hosts=10.100.203.75:1111 --worker_hosts=10.100.206.209:2222,10.100.203.75:2223 --task_i

2017-02-10 13:48:06 2056 1

翻译 memory network 论文翻译

摘要Memory Networks 通过结合长时记忆模块和推断模块联合工作来进行推理。长时记忆模块可以进行读写，也为了用来预测。我们是为了问答系统来研究这个模型，长时记忆模块正作为问答系统的（类似内存的）知识库。问题引出现在的RNN记忆能力不行，本文解决这个问题。核心思想是弄一个读写的内存组件。Memory Networks基本框架一个Memory Networks包括一个内存m(也就是一个对

2017-02-05 21:53:19 1126