Tensorflow trick 与 细节

原创 2017年10月15日 22:21:29

前后传播采用不同方式


How Can I Define Only the Gradient for a Tensorflow Subgraph?

Suppose you want group of ops that behave as f(x) in forward mode, but as g(x) in the backward mode. You implement it as

t = g(x)
y = t + tf.stop_gradient(f(x) - t)

在一个bnn的实现中有如下一段:

def round_through(x):
    # g(x) = x back
    # f(x) = round(x) forward
    rounded = K.round(x) 
    return x + K.stop_gradient(rounded - x) 

这里正向传播用的是四舍五入后的x值,而反向传播则保留了小数精度。

停止部分变量的梯度计算


在压缩的retrain步骤中,存在freeze部分变量,retrain另一部分的操作。而在Tensorflow中的tf.stop_gradient函数只能把整个Tensor全部停止计算。
How to stop gradient for some entry of a tensor in tensorflow提供了一个较好的方法:

res_matrix = tf.stop_gradient(mask_h*E) + mask*E

其中maskE对应,决定了梯度是否需要被保留。

def entry_stop_gradients(target, mask):
    mask_h = tf.abs(mask-1)
    return tf.stop_gradient(mask_h * target) + mask * target

Tensor 与 Variable


先看一段程序:

a = tf.Variable([1])
with tf.device("/cpu:0"):
    with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())
        print 'a:',a.eval()
        print 'type of a:',a 
        a = a + 1
        print 'a:',a.eval() 
        print 'type of a:',a
        b = a + 1
        print 'b:',b.eval()
        print 'type of b:',b

这是很简单的加法,结果肯定都知道,分别是1,2,3
但同时又加上了他们的类型,这就不太一样了。

a: [1]
type of a: <tf.Variable 'Variable:0' shape=(1,) dtype=int32_ref>
a: [2]
type of a: Tensor("add:0", shape=(1,), dtype=int32, device=/device:CPU:0)
b: [3]
type of b: Tensor("add_1:0", shape=(1,), dtype=int32, device=/device:CPU:0)

一开始明明定义的是一个tf.Variable,结果一加却变成了Tensor,之后的b也是这样。说明这些操作只是一些计算过程罢了,就像一些菜谱,没有原材料是无法做饭的。这样说的话,经过了计算,原来的变量a的值其实是没有改变的,因为这些操作都不是针对的Variable。像tf.scatter_update这种操作,输入是Variable,才能进行变量的更新。但当你加入这句话,还是不会有作用,因为这个函数返回的是一个Tensor,也是一个“菜谱”,只有当执行时才会生效。

因此Tensorflow的VariableTensor还需要更深的理解啊。

版权声明:本文为博主原创文章,转载请标注出处。

深度学习(deep learning)优化调参细节(trick)

深度学习中的优化调参细节总结
  • h4565445654
  • h4565445654
  • 2017年04月22日 23:00
  • 2962

hash trick在机器学习中的使用

hash trick的应用
  • dm_ustc
  • dm_ustc
  • 2015年05月16日 21:59
  • 6702

C++基础——tricks,让人惊艳的那些代码

本文主要涉及c++中常见的一些神奇的tricks。 1. 获得可变参数列表中最大类型的类型大小 2. tagged union 3. 模板的特化...
  • lanchunhui
  • lanchunhui
  • 2015年11月02日 00:01
  • 1085

arp_trick.tar.gz

  • 2014年04月04日 18:19
  • 30KB
  • 下载

list_sticky_scroll_trick

  • 2016年01月02日 10:58
  • 78KB
  • 下载

NIO trick and trap .pdf

  • 2017年06月20日 14:51
  • 2.05MB
  • 下载

NIO trick and trap NIO网络

  • 2011年07月08日 21:33
  • 3.04MB
  • 下载

手机上Bloom效果trick

这篇不讲具体bloom本身的算法,讲的是如何获得需要bloom的亮部颜色信息。 这年头手机上很多3D arpg/mmorpg都在高级效果中加入bloom了,因为好看嘛。不过绝大部分游戏的bl...
  • pianpiansq
  • pianpiansq
  • 2017年05月15日 20:07
  • 454

河南省第六届大学生程序设计竞赛 F Card Trick

1627: Card Trick 时间限制: 1 Sec  内存限制: 128 MB 提交: 37  解决: 25 [提交][状态] 题目描述 The magician shuffles...
  • qq_33406883
  • qq_33406883
  • 2016年05月26日 20:52
  • 162

保持精度的小trick:Kahan求和

由于最近用GPU编程,涉及到了float数组,就不得不涉及精度问题。对于双精度如C中double以及Fortran中real(kind = 8),一般运算的精度足以保持,但是单精度数组,在大量操作后极...
  • zhuxianjianqi
  • zhuxianjianqi
  • 2013年04月15日 13:11
  • 974
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Tensorflow trick 与 细节
举报原因:
原因补充:

(最多只允许输入30个字)