2016年11月_u012436149

转载 tensroflow：tensor

tensorlfow TensorRepresents one of the outputs of an Operation. A Tensor is a symbolic handle to one of the outputs of an Operation. It does not hold the values of that operation’s output, but

2016-11-29 12:54:29 1017

原创理解分布式tensroflow必看的几个文档

理解分布式tensroflow必看的几个文档文档(1)Server.md (2)Supervisor,md (3)SyncReplicasOptimizer.md (4)mnist_replica.py

2016-11-29 12:44:07 1834

原创 tensorflow学习笔记（二十二）：Supervisor

如何使用Supervisor在不使用Supervisor的时候，我们的代码经常是这么组织的variables...ops...summary_op...merge_all_summariesaverinit_opwith tf.Session() as sess: writer = tf.tf.train.SummaryWriter() sess.run(init) sa

2016-11-25 22:21:09 25072

使用virtualenv装tensorflow如果你有两个项目，一个需要python2.7开发，一个需要python3.5开发，那么virtualenv是一个很好的选择。准备如果你想创建一个python2.7和python3.5的虚拟环境的话。首先你的电脑上得装有python2.7和python3.5，而且需要装好pip和pip3。安装sudo pip install virtualenv #使用p

2016-11-23 21:32:49 8605

原创 word2vec

word2vec为什么要进行embeddingword2vec就是对word进行embedding首先,我们知道,在机器学习和深度学习中,对word的最简单的表示就是使用one-hot([0,0,1,0,0…..]来表示一个word). 但是用one-hot表示一个word的话,会有一些弊端:从向量中无法看出word之间的关系((wworda)Twwordb=0(w^{word_a})^Tw^{wo

2016-11-18 11:03:42 1360

原创 tensorflow学习笔记(二十一):tensorflow可视化

tensorflow的可视化是使用summary和tensorboard合作完成的.基本用法首先明确一点,summary也是op.输出网络结构with tf.Session() as sess: writer = tf.summary.FileWriter(your_dir, sess.graph)命令行运行tensorboard --logdir your_dir,然...

2016-11-16 11:30:56 38730 1

原创 tensorflow学习笔记(二十):分布式注意事项

版本 tensorflow0.11.0适用于 between-graph&synchronous(1) 一定要指定 chief task(2) chief task 要增加两个op:init_token_op = opt.get_init_tokens_op()chief_queue_runner = opt.get_chief_queue_runner()(3) c...

2016-11-15 17:28:13 5147 4

原创 tensorflow0.10.0升级到tensorflow.011.0

tensorflow0.10.0升级到tensorflow0.11.0tensorflow0.11.0已经可以安装了.下面总结一下安装步骤:卸载tensorflow0.10.0sudo pip uninstall tensorflow卸载cuda7.5,cuda8.0不需要卸载cd /usr/local/cuda/binsudo ./uninstall_cuda_7.5.pl#手动清除c

2016-11-14 23:42:32 8079

原创卸载Cuda7.5

由于需要安装cuda8.0,,所以需要卸载cuda7.5. 在/usr/local/cuda/bin 目录下,有cuda 自带的卸载工具uninstall_cuda_7.5.plcd /usr/local/cuda/binsudo ./uninstall_cuda_7.5.plover!

2016-11-14 19:51:40 19936 1

转载 Tensorflow:tf.train.SyncReplicasOptimizer

Class to synchronize, aggregate gradients and pass them to the optimizer.In a typical asynchronous training environment, it’s common to have some stale gradients. For example, with a N-replica asynchro

2016-11-13 14:25:08 5342

原创 tensorflow学习笔记(十九):分布式Tensorflow

最近在学习怎么分布式Tensorflow训练深度学习模型,看官网教程看的云里雾里,最终结合着其它资料,终于对分布式Tensorflow有了些初步了解.gRPC (google remote procedure call)分布式Tensorflow底层的通信是gRPC gRPC首先是一个RPC,即远程过程调用,通俗的解释是:假设你在本机上执行一段代码num=add(a,b),它调用了一个过...

2016-11-12 15:14:33 24668 17

原创 tensorflow学习笔记(十八):Multiple GPUs

Distribuited tensorflowMultiple GPUs如何设置训练系统(1)每个GPU上都会有model的副本 (2)对模型的参数进行同步更新抽象名词计算单个副本inference和 gradients 的函数称之为tower,使用tf.name_scope()为tower中的每个op_name加上前缀使用tf.device('/gpu:0') 来指定tower中op的运算设

2016-11-11 10:33:26 8291 3

原创 tensorflow学习笔记(十七):name&variable scope

水平有限,如有错误,请指正!在tensorflow中,有两个scope, 一个是name_scope一个是variable_scope,这两个scope到底有什么区别呢? 先看第一个程序:with tf.name_scope("hello") as name_scope: arr1 = tf.get_variable("arr1", shape=[2,10],dtype=tf...

2016-11-08 13:49:58 39443 11

原创 batch&stochasic gradient descent

stochastic gradient descent 和 batch gradient descent水平有限,如有错误,请指正! 本文不是对梯度下降进行推倒,只是介绍两者的区别.以Linear Model 为例. 注: x(i)jx_j^{(i)} 表示第i个样本的第j个特征的值batch gradient descentbatch gradient descent 是考虑了batch中所

2016-11-04 20:42:55 835

原创 tensorflow学习笔记(十六):rnn_cell.py

rnn_cell水平有限,如有错误,请指正!本文主要介绍一下 tensorflow.python.ops.rnn_cell 中的一些类和函数,可以为我们编程所用run_cell._linear()def _linear(args, output_size, bias, bias_start=0.0, scope=None):args: list of tensor [batch_size, size

2016-11-03 22:08:49 10701 2

原创 tensorflow学习笔记(十五): variable scope

variable scopetensorflow 为了更好的管理变量,提供了variable scope机制官方解释: Variable scope object to carry defaults to provide to get_variable.Many of the arguments we need for get_variable in a variable store are

2016-11-03 10:25:10 31292 4

原创 tensorflow学习笔记(十四):tensorlfow操作gradient

tensorflow中使用clip在训练深度神经网络的时候,我们经常会碰到梯度消失和梯度爆炸问题,scientists提出了很多方法来解决这些问题,本篇就介绍一下如何在tensorflow中使用clip来address这些问题train_op = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(loss)在调用minimiz

2016-11-02 12:58:57 15081

Keith