Keith

记录与分享学习点滴。 QQ:862820505 (有偿咨询)

tensorflow学习笔记(三十六):learning rate decay

learning rate decay在训练神经网络的时候,通常在训练刚开始的时候使用较大的learning rate, 随着训练的进行,我们会慢慢的减小learning rate。对于这种常用的训练策略,tensorflow 也提供了相应的API让我们可以更简单的将这个方法应用到我们训练网络的过...

2017-03-14 21:39:26

阅读数 24657

评论数 0

tensorflow学习笔记(三十五):control flow

control flowtf.cond(pred, fn1, fn2, name=None)等价于:res = fn1() if pred else fn2()注意:pred不能使 python bool, pred是个标量Tensor 官网例子z = tf.mul(a, b) result =...

2017-03-07 21:55:38

阅读数 12086

评论数 2

tensorflow nan 原因总结

跑程序的时候经常碰到 loss 为 nan 的情况,在此记录一下,防止忘记踩过的坑。第一种可能: 激活函数使用 relu, 导致最后输出的值很大,exe^x 很有可能变成 nan,可以使用 cliped relu解决这个问题 第二种可能: 数据的问题,数据缺失

2017-03-04 10:41:34

阅读数 6896

评论数 4

tensorflow学习笔记(三十四):Saver(保存与加载模型)

Savertensorflow 中的 Saver 对象是用于 参数保存和恢复的。如何使用呢? 这里介绍了一些基本的用法。 官网中给出了这么一个例子:v1 = tf.Variable(..., name='v1') v2 = tf.Variable(..., name='v2')# Pass t...

2017-02-23 09:41:40

阅读数 10760

评论数 4

tensorflow学习笔记(三十三):ExponentialMovingAverage

ExponentialMovingAverageSome training algorithms, such as GradientDescent and Momentum often benefit from maintaining a moving average of variables d...

2017-02-22 14:09:24

阅读数 17542

评论数 0

tensorflow学习笔记(三十二):conv2d_transpose ("解卷积")

conv_transposedeconv解卷积,实际是叫做conv_transpose, conv_transpose实际是卷积的一个逆向过程,tf 中, 编写conv_transpose代码的时候,心中想着一个正向的卷积过程会很有帮助。想象一下我们有一个正向卷积: input_shape = ...

2017-02-18 22:43:22

阅读数 28866

评论数 7

tensorflow学习笔记(三十一):构建多GPU代码

构建多GPU代码结构 先构建单GPU代码 写个函数multi_gpu_model(num_gpus)来生成多GPU代码,并将对象保存在collection中 feed data run 如何构建单GPU代码见之前博客构建TF代码 不要在单GPU代码中创建optimizer op,因为是multi...

2017-01-05 14:35:40

阅读数 15596

评论数 1

tensorflow学习笔记(三十):tf.gradients 与 tf.stop_gradient() 与 高阶导数

gradienttensorflow中有一个计算梯度的函数tf.gradients(ys, xs),要注意的是,xs中的x必须要与ys相关,不相关的话,会报错。 代码中定义了两个变量w1, w2, 但res只与w1相关#wrong import tensorflow as tfw1 = tf.V...

2016-12-28 09:46:11

阅读数 33544

评论数 3

tensorflow学习笔记(二十九):merge_all引发的血案

在训练深度神经网络的时候,我们经常会使用Dropout,然而在test的时候,需要把dropout撤掉.为了应对这种问题,我们通常要建立两个模型,让他们共享变量。详情.也可以通过设置 train_flag, 这里只讨论第一个方法可能会碰到的问题. 为了使用Tensorboard来可视化我们的数据...

2016-12-27 11:55:19

阅读数 31995

评论数 8

tensorflow学习笔记(二十八):collection

tensorflow collectiontensorflow的collection提供一个全局的存储机制,不会受到变量名生存空间的影响。一处保存,到处可取。接口介绍#向collection中存数据 tf.Graph.add_to_collection(name, value)#Stores va...

2016-12-27 11:53:06

阅读数 18541

评论数 0

tensorflow学习笔记(二十七):leaky relu

tensorflow leaky relu在tensorflow 0.12.0及之前,都没有内置的leaky relu函数,那么我们如何实现leaky relu函数呢?方法1def relu(x, alpha=0., max_value=None): '''ReLU. alpha: ...

2016-12-26 21:27:24

阅读数 16417

评论数 0

tensorflow学习笔记(二十六):构建TF代码

如何构建TF代码batch_size: batch的大小 mini_batch: 将训练样本以batch_size分组 epoch_size: 样本分为几个min_batch num_epoch : 训练几轮写一个将数据分成训练集,验证集和测试集的函数train_set, valid_set...

2016-12-23 19:36:45

阅读数 16227

评论数 0

tensorflow学习笔记(二十五):ConfigProto&GPU

tensorflow ConfigPrototf.ConfigProto一般用在创建session的时候。用来对session进行参数配置with tf.Session(config = tf.ConfigProto(...),...)#tf.ConfigProto()的参数 log_device...

2016-12-23 11:53:37

阅读数 47206

评论数 2

tensorflow学习笔记(二十四):Bucketing

tensorflow bucketstensorflow的编码原则是,先构建计算图,然后再去执行计算图(sess.run()).这就会导致一个问题,我们无法在运行的过程中动态的更改图的结构.我们能做的就是,先构建出完整的图,然后可以去执行其子图. tensorflow中的bucket就是基于这么一...

2016-12-22 10:56:05

阅读数 6320

评论数 0

tensorflow学习笔记(二十三):variable与get_variable

Variabletensorflow中有两个关于variable的op,tf.Variable()与tf.get_variable()下面介绍这两个的区别tf.Variable与tf.get_variable()tf.Variable(initial_value=None, trainable=T...

2016-12-16 19:14:23

阅读数 60557

评论数 9

tensorflow:卷积中的 SAME VALID padding

http://stackoverflow.com/questions/37674306/what-is-the-difference-between-same-and-valid-padding-in-tf-nn-max-pool-of-t

2016-12-07 13:30:35

阅读数 1649

评论数 0

tensroflow:tensor

tensorlfow TensorRepresents one of the outputs of an Operation. A Tensor is a symbolic handle to one of the outputs of an Operation. It does no...

2016-11-29 12:54:29

阅读数 861

评论数 0

理解分布式tensroflow必看的几个文档

理解分布式tensroflow必看的几个文档文档(1)Server.md (2)Supervisor,md (3)SyncReplicasOptimizer.md (4)mnist_replica.py

2016-11-29 12:44:07

阅读数 1567

评论数 0

tensorflow学习笔记(二十二):Supervisor

如何使用Supervisor在不使用Supervisor的时候,我们的代码经常是这么组织的variables ... ops ... summary_op ... merge_all_summarie saver init_opwith tf.Session() as sess: writer...

2016-11-25 22:21:09

阅读数 12306

评论数 0

virtualenv安装tensorflow

使用virtualenv装tensorflow如果你有两个项目,一个需要python2.7开发,一个需要python3.5开发,那么virtualenv是一个很好的选择。准备如果你想创建一个python2.7和python3.5的虚拟环境的话。首先你的电脑上得装有python2.7和python3...

2016-11-23 21:32:49

阅读数 6721

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭