tensorflow
upDiff
专注于计算机视觉和深度学习领域,8年+AI项目实战经验。善于将复杂的概念简化为易于理解的形式,并提供清晰的示例代码和运行结果,帮助大家速掌握相关技术。
展开
-
使用Horovod简化tensorflow多GPU训练
tensorflow多GPU训练在官网上有多种训练方式,用Horovod(Uber出品)可以极大简化多GPU训练,有code有真相,下面是基于Horovod的tf 多GPU训练代码:import tensorflow as tfimport horovod.tensorflow as hvd# Initialize Horovodhvd.init()# Pin GPU to be used to process local rank (one GPU per process)config =原创 2020-07-16 16:12:28 · 737 阅读 · 0 评论 -
tf.group()和tf.identity()含义
1-tf.group()最近看tf项目源代码的时候,出现了下面的代码:train_op = tf.group(main_loss, aux_losss, bottleneck.updates[1])想把代码改成多GPU训练,因此需要详细了解代码含义。实际上,通过查询API接口,这行代码相当于把main_loss, aux_losss, bottleneck.updates[1]三个op(算子)合并为了一个op,然后在session run的时候同时执行2-tf.identity()讲到tf.g原创 2020-07-16 15:40:23 · 801 阅读 · 0 评论 -
AttributeError: module tensorflow has no attribute placeholder
使用云平台或者别的服务器时,如果安装的是高版本的tf(tf2.x),跑比较旧的代码容易出现这种报错。解决方案:注释tf的引用,换为兼容模式。# import tensorflow as tfimport tensorflow.compat.v1 as tftf.disable_v2_behavior() ...原创 2020-07-03 17:33:35 · 1921 阅读 · 1 评论 -
AttributeError_ module tensorflow has no attribute placeholder
使用云平台或者别的服务器时,如果安装的是高版本的tf(tf2.x),跑比较旧的代码容易出现这种报错。解决方案:注释tf的引用,换为兼容模式。# import tensorflow as tfimport tensorflow.compat.v1 as tftf.disable_v2_behavior() ...原创 2020-06-10 19:05:36 · 522 阅读 · 0 评论 -
tensorflow从pb文件中导出权重
import tensorflow as tffrom tensorflow.python.platform import gfile#path to your .pb fileGRAPH_PB_PATH = './model/tensorflow_inception_v3_stripped_optimized_quantized.pb' with tf.Session(config=c...原创 2020-04-13 09:52:10 · 1670 阅读 · 0 评论 -
tensorflow从1.0版本切换到1.3
1.先卸载之前的版本sudo pip3 uninstall tensorflow-gpu2.安装新的tf sudo pip3 install tensorflow-gpu==1.33.tensorflow1.3需要CUDA8.0和cudnn6.0,因此只需要替换之前的cudnn5.0即可在Nvidia官网下载cudnn6.0,解压后执行下面的命令...原创 2017-11-03 09:41:17 · 4655 阅读 · 0 评论 -
Ubuntu16.04编译tensorflow官方Android demo
1.下载tensorflow官方代码git clone --recurse-submodules https://github.com/tensorflow/tensorflow.git2.下载Android SDK和Android NDKAndroid SDK下载:在安装Android Studio时进行选择,https://developer.android.com/studio/原创 2017-08-12 14:57:52 · 1579 阅读 · 0 评论 -
训练bug收集
1.can not load "VOCtraffic/JPEGImages/89110.jpg", STB Reason: expected markerCorrupt JPEG file, based on code at (https://hackage.haskell.org/package/stb-image-0.2.1/src/cbits/stb_image.c)原创 2017-07-18 09:22:41 · 755 阅读 · 0 评论 -
深度学习编译相关
1.修改GPU架构代码 --gpu-architecture=compute_52, --gpu-code=compute_52修改为 --gpu-architecture=compute_61, --gpu-code=compute_61原创 2017-07-18 09:21:00 · 585 阅读 · 0 评论 -
tensorflow检查op是否可导(反向传播)
GPU云服务器(支持Jupyter)内置Jupyter、Pycharm的云服务器,访问GPU云服务器网站1.安装最新版tf--tensorflow1.5,gpu版本需要CUDA8和cudnn6,命令如下GPU版:sudo pip3 install tf-nightly-gpuCPU版:sudo pip3 install tf-nightly对应pip网站:https://pyp...原创 2017-11-03 15:45:49 · 3468 阅读 · 0 评论 -
TypeError: List of Tensors when single Tensor expected - when using const with tf.random_normal
tf.constant需要用numpy array进行初始化,不能用tf自己的函数返回值,也就是tensor进行初始化赋值。import tensorflow as tfimport numpy as nparr=np.array([[1,2,3],[4,5,6]])tf_ct=tf.constant(arr)...原创 2017-11-05 19:33:25 · 3684 阅读 · 1 评论 -
tensorflow获取当前可用的GPU信息
GPU云服务器(支持Jupyter)内置Jupyter、Pycharm的GPU服务器,访问淘宝店简而来讲,我目前电脑中有三个可用的GPU,将返回['/ gpu:0','/ gpu:1','/ gpu:2'],可以使用以下代码检查所有设备列表:from tensorflow.python.client import device_libdef get_available_gpus():...原创 2018-11-13 20:42:10 · 5329 阅读 · 0 评论 -
TensorFlow中 将tensor 转为 numpy数组
Session.run或eval返回的任何张量都是NumPy数组,参考代码如下:print(tf.Session().run(tf.constant([1,2,3,4,5,6])))或者sess = tf.Session()with sess.as_default(): print(tf.constant([1,2,3,4,5,6]).eval())GPU云服务器(支...原创 2018-11-13 20:45:09 · 14237 阅读 · 0 评论 -
tensorflow保存模型和恢复模型
保存模型w1 = tf.placeholder("float", name="w1")w2 = tf.placeholder("float", name="w2")b1= tf.Variable(2.0,name="bias")feed_dict ={w1:4,w2:8}w3 = tf.add(w1,w2)w4 = tf.multiply(w3,b1,name="op_to_r.原创 2018-11-14 08:06:38 · 259 阅读 · 0 评论 -
ubuntu查看cuDNN版本
1)比较新的cuDNN,使用命令:cat /usr/include/cudnn.h | grep CUDNN_MAJOR -A 22)比较旧的cuDNN,使用命令:cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2原创 2018-12-24 16:44:19 · 4312 阅读 · 0 评论 -
查看tensorflow为CPU版还是GPU版
在python中运行以下代码: sess = tf.Session(config=tf.ConfigProto(log_device_placement=True)) sess.close() 若运行结果打印的log出现本机的显卡型号,则为GPU版tensorflow,否则为CPU版tensorflowGPU云服务器(支持Jupyter)内置Jupyter、Pyc...原创 2019-05-14 09:02:40 · 5944 阅读 · 0 评论 -
在keras中实现Many to one以及many to many的LSTM
1-One-to-one model.add(Dense(output_size, input_shape=input_shape))2-One-to-many: model.add(RepeatVector(number_of_times, input_shape=input_shape)) model.add(LSTM(output_size, return_...原创 2019-10-11 14:10:32 · 3813 阅读 · 0 评论 -
tensorflow命令行传参
tensorflow通过命令行传入参数示例代码如下:import tensorflow as tfFLAGS=tf.app.flags.FLAGStf.app.flags.DEFINE_string('demo','','This is a demo to know how to use tf.app.flag.FLAGS')print(FLAGS.demo)最后打开Ubuntu系统原创 2017-07-07 11:11:37 · 1088 阅读 · 0 评论 -
Bazel安装
打开命令行,输入:echo "deb [arch=amd64] http://storage.googleapis.com/bazel-apt stable jdk1.8" | sudo tee /etc/apt/sources.list.d/bazel.listcurl https://bazel.build/bazel-release.pub.gpg | sudo apt-key add原创 2017-06-23 13:56:17 · 1821 阅读 · 0 评论 -
python3.5安装Scipy和Matplotlib
注:下载windows二进制python包地址:http://www.lfd.uci.edu/~gohlke/pythonlibs安装Scipypip3 install "D:\Downloads\scipy-0.18.1-cp35-cp35m-win_amd64.whl"安装Matplotlibpip3 install "D:\Downl...原创 2017-01-25 16:45:26 · 1553 阅读 · 0 评论 -
ImportError: cannot import name ‘NUMPY_MKL‘
之前写了一篇在python3.5安装scipy的博客(python3.5安装Scipy和Matplotlib ),在写程序时出现了这样的错误,import scipy.ioFile "C:\Program Files\Python35\lib\site-packages\scipy\__init__.py", line 61, in <module>from numpy._...原创 2017-01-29 11:22:50 · 11177 阅读 · 0 评论 -
module 'scipy.misc' has no attribute 'imread'
报错是因为要安装PIL库,库名现在为Pillow,在命令行上安装即可:pip3 install Pillow福利区:独学而无友,则孤陋而寡闻.加入机器学习与深度学习讨论QQ群(581789266),一块交流与探讨,共同成长和进步!...原创 2017-02-02 20:32:42 · 13590 阅读 · 2 评论 -
Pydev改变注释颜色
Pydev中注释默认为灰色,很容易混在背景中,修改方法如下图:原创 2017-02-02 21:45:46 · 2290 阅读 · 0 评论 -
获取Tensorflow版本
在py文件中加入以下代码即可:import tensorflow as tf;print(tf.__version__)原创 2017-02-24 14:29:02 · 5854 阅读 · 0 评论 -
深度学习优化算法记录
1.An overview of gradient descent optimization algorithms2. 各种优化方法总结比较(sgd/momentum/Nesterov/adagrad/adadelta)3.常见优化算法 (caffe和tensorflow对应参数)4.比Momentum更快:揭开Nesterov原创 2017-03-27 15:59:38 · 689 阅读 · 0 评论 -
解决“tensorboard:未找到命令”的问题
一、检查用pip安装时tensorflow的具体位置在命令行输入以下指令:py2cpu版:pip show tensorflowgpu版:pip show tensorflow-gpupy3cpu版:pip3 show tensorflowgpu版:pip3 show tensorflow-gpu发现装到了/.local/lib/python3.5...原创 2017-03-24 15:52:43 · 15443 阅读 · 4 评论 -
迁移学习与fine-tuneing的区别
一、迁移学习是指将已经预先训练好的模型权重的某部分或整体用到相似任务的处理上。优点:1)节省训练时间 2)当新问题的数据集很小时,直接训练容易过拟合,迁移学习可以有效避免这种情况。二、fine-tuning 属于trick,在迁移学习中有所涉及,泛指对参数进行微调。原创 2017-04-18 10:27:48 · 2552 阅读 · 0 评论 -
深度学习数据集汇总
1.单个数据集介绍1)PASCAL VOC数据集分析2.多数据集介绍1)语义分割常用数据集2)深度学习视觉领域常用数据集汇总3.数据集下载地址1)Visual Object Classes Challenge 2012 (VOC2012)4.model下载1) the modified VGG-16 network原创 2017-04-20 15:12:15 · 1097 阅读 · 0 评论 -
ValueError: insecure string pickle简单解决方案
一、起因:当初在装双系统、分配Ubuntu空间的时候,只留了40G的空间。之后安装各种开发包,硬盘空间越来越不够用。然后我把一个后缀为pkl(超过1G)的文件放到了NTFS格式的盘下,读取数据时出现了ValueError: insecure string pickle。解决方法就是将Ubuntu系统所在分区扩容,简单做就是找一块空闲区域格式化为ext4,然后将pkl文件放在此处。二、磁盘管理工原创 2017-04-22 10:41:02 · 2815 阅读 · 0 评论 -
nvcc: command not found
除了在/.bashrc中配置LD_LIBRARY_PATH路径以外,还需要配置PATH路径,完整配置如下:export LD_LIBRARY_PATH=/usr/local/cuda/libexport PATH=$PATH:/usr/local/cuda/bin福利区:独学而无友,则孤陋而寡闻.加入机器学习与深度学习讨论QQ群(581789266),一块交流与探讨,共同成长和进步!...原创 2017-07-11 13:47:34 · 14105 阅读 · 1 评论 -
在windows上安装CPU版Tensorflow
(一)安装环境:Windows 64位python3.5(二)安装步骤:1.下载vs运行库https://www.microsoft.com/en-us/download/details.aspx?id=535872.下载Win 64下的python3.5https://www.python.org/ftp/python/3.5.2/python-3.5.2-amd64...原创 2017-01-23 14:45:46 · 6194 阅读 · 1 评论