tensorflow
Yan_Joy
这个作者很懒,什么都没留下…
展开
-
TensorBoard 在1.0 版本后的使用
注意:在阅读本文之前,请务必更新你的浏览器。Chrome大法好! 数据、模型可视化是TensorFlow的一项重要的功能,安装后自带的TensorBoard是一个很强大的工具,但目前的教程大多都停留在TensorFlow 1.0 版本之前,一些函数已经改名无法使用,因此写一篇比较新的使用说明。主要区别如果之前使用过TensorBoard,其实只是换一下函数名就可以了。在Github上新版本说明文档原创 2017-03-08 15:14:27 · 10234 阅读 · 0 评论 -
Tensorflow 静态图的动态收缩
Tensorflow 的静态图机制给一个动态调整区间和mask的网络带来了不少麻烦。问题描述随着训练的进行,扩大区间rrr的范围,并对区间内的权重进行量化操作。一次训练可能要量化多个区间,量化后权重冻结。静态图思路权重冻结这是一个老问题,之前的文章中也有介绍。解决方法还是:def entry_stop_gradients(target, mask): mask = tf.cas...原创 2019-01-05 21:15:17 · 821 阅读 · 0 评论 -
cannot import name 'ReparseException' & tf模型参数提取
Tensorboard ImportError: cannot import name ‘ReparseException’环境:python 3.5.4Tensorflow==1.4.1html5lib==1.0.1错误信息:ImportError: cannot import name 'ReparseException'定位咋:~/anaconda3/...原创 2018-04-16 19:45:06 · 907 阅读 · 0 评论 -
tf的条件赋值(量化)
在numpy中一行实现的代码,始终不知道如何在tf中快速实现= =问题对于一个任意维度张量a,使其值在0到1之间的值量化到0.5。Numpy# Input:aa[(a>0)&(a<1)] = 0.5这大概是最简单的实现方式吧。TensorFlow而在tf中,每一步操作都需要Tensor实现,那么我所找到的一种方法:greater = a>0less = a<1greater_less = tf原创 2018-04-08 10:42:56 · 3346 阅读 · 3 评论 -
center loss 论文学习
center loss框架从网络的的框架来看,center loss的主要工作是下图中的“Discriminative Features”。 普通的网络框架,在反向传播的过程中,根据类别标签,会将不同的类别划分开。如“Separable Features”所示,一开始两种颜色是混杂的,通过改变网络参数,让不同颜色能被分类器分开,就达到了目的。而这个过程中,只对不同类有要求,同一类没有进行约束。原创 2018-02-27 19:59:21 · 2116 阅读 · 0 评论 -
DeepCompression思考
网上很少有Deepcompress的实现源码,前一段时间使用TensorFlow实现了一下,还是有些问题值得注意。TensorFlow的局限性TensorFlow支持的是一种静态图,当模型的参数确定之后,便无法继续修改。这对于逐阶段、分层的训练带来了一定的困难。具体在本项目中,权重的固定无法在单次模型训练中进行逐层的设置,只能采取一种比较麻烦的方法:量化完某一层后,先保存全局模型权重,然后清空Ten原创 2018-01-11 20:17:39 · 1444 阅读 · 9 评论 -
keras tips&problems
写了一下keras的层,出现了一些问题,值得总结一下~Python中对变量是否为None的判断这个问题出在以下代码段:self.mask = np.zeros(shape)if self.mask == None: passelse: pass直接运行会报错,原因在于对于numpy数组,对None的判断是对于其中元素的,而不是对于mask这个对象的。如果比较相同的对象实例,is总是原创 2017-11-03 17:19:17 · 518 阅读 · 0 评论 -
Tensorflow trick 与 细节
前后传播采用不同方式How Can I Define Only the Gradient for a Tensorflow Subgraph? Suppose you want group of ops that behave as f(x) in forward mode, but as g(x) in the backward mode. You implement it ast = g(x)原创 2017-10-15 22:21:29 · 882 阅读 · 0 评论 -
CS20SI Operations
CS 20SI: Tensorflow for Deep Learning ResearchFun with TensorBoardgraph 的可视化,语句为tf.summary.FileWriter,将sess的图输出到./graphs。首先在默认图中建立常数与操作,并在session中运行。import tensorflow as tfa = tf.constant(2)b = tf.co原创 2017-10-20 16:25:39 · 468 阅读 · 0 评论 -
Keras backens函数
Keras是一个模型级的库,提供了很多高层函数。但它本身无法进行低级操作,如张量相乘、卷积等。因此它需要利用其他的库进行计算,作为后端引擎。除了常用的Tensorflow,还支持Theano(现在停止更新了),CNTK。Backend functionsset_image_data_formatset_image_data_format(data_format)参数:data_format: st原创 2017-10-11 14:21:58 · 4597 阅读 · 0 评论 -
Tensorflow 解决 No module named '_pywrap_tensorflow_internal'
这个问题是我在windows上尝试安装GPU版本时出现的,系统 win10,CUDA 8.0,VS2015 com,cudnn-8.0-windows10-x64-v6.0。 官网上安装指南中Common installation problems也有提到,给出的是STACK OVERFLOW 的解答:On Windows, running “import tensorflow” generate原创 2017-07-25 18:55:48 · 27437 阅读 · 0 评论 -
tf.cond 与 tf.control_dependencies 的控制问题
问题引入在搜索tf.cond的使用方法时,找到了这样的一个问题:运行下面的一段tensorflow代码:pred = tf.constant(True)x = tf.Variable([1])assign_x_2 = tf.assign(x, [2])def update_x_2(): with tf.control_dependencies([assign_x_2]): retu原创 2017-04-18 15:18:41 · 8066 阅读 · 2 评论 -
Tensorflow 多任务学习
之前在caffe上实现了两个标签的多任务学习,如今换到了tensorflow,也想尝试一下,总的来说也不是很复杂。建立多任务图多任务的一个特点是单个tensor输入(X),多个输出(Y_1,Y_2...)。因此在定义占位符时要定义多个输出。同样也需要有多个损失函数用于分别计算每个任务的损失。具体代码如下:# GRAPH CODE# ============# 导入 Tensorflowimpo转载 2017-03-15 20:24:27 · 15024 阅读 · 2 评论 -
TensorFlow 新手入门
刚装上TensorFlow,还是不太会用,主要去官网还要翻墙太麻烦了。。随手翻一下教程备用初识TensorFlow初期准备:安装好TensorFlow知道如何在Python中编程懂一点数组知识最好了解机器学习(不必要)TensorFLow提供多种APIs,从低级到高级,满足不同使用需求,越高级越容易学习和使用。下面的一些模型都可以用tf.contrib.learn高级API实现。Tenso翻译 2017-03-07 16:35:33 · 1926 阅读 · 0 评论 -
MMdnn:微软模型转换工具
简介深度学习火了,一同热的还有深度学习框架。当然经过了几年的淘汰(比如theano),目前最火的大概有Tensorflow、PyTorch以及Caffe了。他们各有所长,开发时可能会选定一个单独的平台,但是在应用时就需要考虑其他的因素。重新在其他框架上改代码就变得比较麻烦,如果能把模型直接转换好,更重要的是不同平台效果相同,那就会节省很多时间。MMdnn就是这样的一个模型转换工具,而且是微软出品...原创 2019-06-03 17:13:25 · 4367 阅读 · 4 评论