tensorflow
sparkexpert
大数据挖掘技术(人工智能)的爱好者
展开
-
tensorflow 1.0安装过程中出现/usr/lib64/libstdc++.so.6: version 'GLIBCXX_3.4.19' not found问题的解决
在linux redhat 6.4环境下安装tensorflow的过程中,利用PIP直接安装是非常快的。但是在调用测试的过程中,却发现报这样的错误。/usr/lib64/libstdc++.so.6: version 'GLIBCXX_3.4.19' not found导致总是出现 failed to load the native tensorflow runtime原创 2017-02-22 17:35:41 · 6697 阅读 · 1 评论 -
tensorflow model中目标对象检测包的编译和测试
前段时间,谷歌开放了 TensorFlow Object Detection API 的源码,并将它集成到model中。这个代码库是一个建立在 TensorFlow 顶部的开源框架,方便其构建、训练和部署目标检测模型。设计这一系统的目的是支持当前最佳的模型,同时允许快速探索和研究。在其官方文档说明书上面说明了提供的几个模型:In addition to our base T原创 2017-06-25 20:51:56 · 6726 阅读 · 0 评论 -
Tensorflow用于黑白照片(灰度图)着色的测试
视觉效果一直是计算机视觉研究的一个重要领域,如风格迁移等已经是各大顶会的重要栏目。 本篇文章主要用于探索黑白照片着色的功能。 如何给黑白照片上色,如对早先的照片进行更好的渲染,可以便得宝贵的历史影像资料变得更加鲜活,视觉感官更好。 现有的主流模型挺多的,如https://github.com/baldassarreFe/deep-koalarizat原创 2017-07-05 16:06:44 · 12078 阅读 · 7 评论 -
基于tensorflow的视觉问答系统构建
视觉问答(Visual Question Answering,VQA),是多模态数据挖掘的前沿应用之一,里面涉及计算机视觉和自然语言处理的学习任务。VQA系统需要将图片和问题作为输入,结合这两部分信息,产生一条人类语言作为输出。针对一张特定的图片,如果想要机器以自然语言来回答关于该图片的某一个特定问题,我们需要让机器对图片的内容、问题的含义和意图以及相关的常识有一定的理解。现有视觉问答原创 2017-06-26 15:02:01 · 4943 阅读 · 3 评论 -
基于DeepStream的CNN的可视化理解
对CNN进行可视化是一项重要的工作,有助于理解深度学习模型的黑箱里面到底是什么东西。有个著名的工具是:deep-visualization-toolbox里面还实现了对各种类别的展示,同时还有个遮挡的实验,令人印象深刻。 此外,只用tensorflow的deepstream来学习一下CNN的模型到底都有哪些东西。代码可以看:https://github.com/tensorflow/te原创 2017-07-06 11:02:00 · 3708 阅读 · 0 评论 -
空洞卷积与DeeplabV2实现图像语义分割的测试(tensorflow)
图像语义分割是对图像像素级理解的基础,也是图像处理的高阶操作。自从深度学习出来之后,已经有了不少的基于卷积网络的图像语义分割模型,如从全卷积网络到大型卷积核:深度学习的语义分割全指南这篇文章介绍了非常多的模型。本篇博客只对空洞卷积进行多尺度背景聚合(Multi-Scale Context Aggregation by Dilated Convolutions)和DeepLab2(D原创 2017-07-20 11:41:00 · 12512 阅读 · 1 评论 -
Photographic Image Synthesis with Cascaded Refinement Networks(由语义分割图生成逼真街景图)
在生成真实图像方面,常用的都是无监督模型,如GAN,VAE等。 然而ICCV2017的这篇文章,同样是从图像(图像分割结果的语义标注图)到原始的街景图像的转换,它并没有依靠生成对抗网络(GAN)以训练generator与discriminator network的方式来做image-to-image,而是采用了一种级联精练网络Cascaded Refinement Network (CR原创 2017-08-25 23:01:54 · 5148 阅读 · 1 评论 -
DeepCut及DeeperCut:基于Tensorflow的人体姿态估计
人体姿态估计是机器视觉的一个重要分支,在行为识别、人机交互、游戏、动画等领域有着很广阔的应用前景,是计算机视觉领域中一个既具有研究价值、同时又极具挑战性的热门课题。本篇主要对http://pose.mpi-inf.mpg.de/#deepcut,即MPII数据集中benchmark比较高的模型进行实验。主要是DeeperCut这篇文章。从上面网站上的前几行文字可以看出dee原创 2017-08-30 15:29:14 · 19246 阅读 · 1 评论 -
Tensorflow protobuf版本报错问题解决(AttributeError: 'module' object has no attribute 'Default')
无意中发现TF跑不了,报的错误是:AttributeError: 'module' object has no attribute 'Default'如下:>>> import tensorflow as tfTraceback (most recent call last): File "", line 1, in File "/home/schidester/usr/t原创 2017-09-24 21:03:32 · 19565 阅读 · 9 评论 -
Mask R-CNN(目标检测,语义分割)测试
Kaiming He的大作Mask R-CNN(https://arxiv.org/pdf/1703.06870.pdf)已经放出来一段时间了,最近才有空进行代码学习和编译。 图像目标检测是图像识别的核心任务之一,之前就对这以方面进行总结和测试(http://blog.csdn.net/sparkexpert/article/details/71642431)。从上面的图可原创 2017-12-21 11:13:09 · 8029 阅读 · 0 评论 -
module 'tensorflow.python.framework.fast_tensor_util' does not match runtime version 3.6问题解决
最近在重新用tensorflow 1.3.*或者1.4 的时候,发现了好多问题,主要是碰到了如题目所示的问题,目前网上没有什么好的解决办法。关于这个问题,在https://github.com/tensorflow/tensorflow/issues/14182中有较为详细的说明,然而都没有给出较好的解决办法,无法都是降低到python3.5的环境下。针对这个问题,升级到1原创 2017-12-15 14:52:01 · 6405 阅读 · 1 评论 -
神经网络模型的压缩及SqueezeNet的应用测试
深度学习已经在很多领域取得了重大突破,然而现有深度学习训练好的模型经常都比较大,如ImageNET或者COCO上面的各种训练模型经常是几百M以上,这对于现有主流的计算机当然没有什么问题,但是对于一些移动设备或者一些硬件层面上的应用可能就比较有难度。因此神经网络压缩也是深度学习研究应用的重要一环。在微软秦涛的一篇演讲(http://www.msra.cn/zh-cn/news/blogs原创 2017-07-03 15:05:27 · 3193 阅读 · 2 评论 -
基于tensorflow的人脸识别技术(facenet)的测试
人脸识别的应用非常广泛,而且进展特别快。如LFW的评测结果上已经都有快接近99.9%的。Uni-Ubi600.9900 ± 0.0032FaceNet620.9963 ± 0.0009Baidu640.9977 ± 0.0006AuthenMetric650.9977 ± 0.0009MMDFR670.9902原创 2017-06-29 10:56:36 · 31959 阅读 · 6 评论 -
基于MTCNN的人脸自动对齐技术原理及其Tensorflow实现测试
人脸识别是计算机视觉研究领域的一个热点。而人脸识别包含了诸多步骤,下图所示(摘自http://www.techshino.com/upfiles/images/%E4%BA%BA%E8%84%B8%E8%AF%86%E5%88%AB%E6%8A%80%E6%9C%AF%E6%B5%81%E7%A8%8B(2).png):原创 2017-06-28 17:16:21 · 15413 阅读 · 9 评论 -
python3 下 tensorflow slim inceptionV4 问题修正与测试
自从残差网络出来之后,好多人就想着能不能对模型进行结合测试一下。Google Research的Inception模型和Microsoft Research的ResidualNet模型两大图像识别杀器结合效果如何?在这篇2月23日公布在arxiv上的文章“Inception-v4, Inception-ResNet and the Impactof Residual Connections原创 2017-04-18 16:19:19 · 3937 阅读 · 1 评论 -
python3环境下 tensorflow环境中经常遇到'*' has type str, but expected one of: bytes问题的解决
为了对flowers数据集进行训练,于是调用了tensorflow的slim模块中的download_and_convert_flowers.py文件进行处理,但是下载完成之后,执行过程中碰到一个问题:'jpg' has type str, but expected one of: bytes看来tensorflow默认的源码都是基于python2环境下的。原创 2017-04-18 16:51:00 · 15063 阅读 · 0 评论 -
基于tensorflow + Vgg16进行图像分类识别的实验
图像分类识别目前已经得到了很大的飞跃,特别是15年微软提出的resnet已经超越人类,能够对图像中的物体进行更好的识别。为了初步了解一下图像分类识别的过程,学习了一下大牛的主页,发现还是很有意思的。而且从imagenet的角度来说,这个经度还是可以接受的。本实验主要参照了这个网页https://www.cs.toronto.edu/~frossard/post/vgg1原创 2017-04-17 11:03:30 · 42957 阅读 · 16 评论 -
基于seq2seq的中国古诗词自动生成技术
文本生成技术是深度学习赋予自然语言处理一项全新的技术,而刚好网上有这方面诸多的例子,因此趁着有空实现一下中国古诗的自动生成技术,还是挺好玩的。具体步骤主要包括以下几点:(1) 准备语料库,即对据有的古诗进行获取。(2) 生成关键词,并进行词向量转化。(3) 利用RNN的编码解码模型进行训练,由于RNN具备一对多的输出,因此可以很好地解决这种自动生成技术。原创 2017-05-03 10:50:14 · 9060 阅读 · 8 评论 -
基于seq2seq的中国对联自动配对技术实践
Sequence to Sequence模型这种基于编码--解码的模型已经被谷歌成功应用于机器翻译上。而理论上任意的序列到序列的有监督问题都可以用这种模型。如上一篇文章写的古诗生成。包括这一篇实践性的对联配对。对对联生成过程中,需要使用LSTM来实现,然后需要设置其编码与解码的相关参数。如下所示:# 创建基本的LSTM单元cells = [tf.contrib.rnn.Dropo原创 2017-05-03 11:00:56 · 3114 阅读 · 1 评论 -
基于Tensorflow的VCTK语音识别例子测试
语音识别是深度学习早先攻克的几个领域之一。传统的基于HMM等的语音识别精度一直比较受限。但是深度学习还是给语音识别的精度带来了一个飞跃性的提高。本文在网上找了段代码实现了下,感觉非常简单就可以复现。不过看了过程,也非常简单,主要有几步:(1) 下载VCTK数据集;(2) 对数据集,提取每个WAV文件的MFCC特征以及对应的语音文本标注语料。(3) 设置CTC的损失目原创 2017-05-04 15:12:44 · 6417 阅读 · 8 评论 -
pix2pix tensorflow试验(GAN之图像转图像的操作)
GAN是一种典型的概率生成模型,其核心思想是:找出给定观测数据内部的统计规律,并且能够基于所得到的概率分布模型,产生全新的,与观测数据类似的数据。概率生成模型可以用于自然图像的生成。假设给定1000万张图片之后,生成模型可以自动学习到其内部分布,能够解释给定的训练图片,并同时生成新的图片。与庞大的真实数据相比,概率生成模型的参数个数要远远小于数据的数量。因此,在训练过程原创 2017-04-27 09:08:45 · 19017 阅读 · 3 评论 -
基于tensorflow 1.0的图像叙事功能测试(model/im2txt)
作为多模态数据处理的经典,图像自动打标签(图像叙事功能)一直是一项非常前沿的技术,涉及到机器视觉,自然语言处理等模块。幸运的是,谷歌基于tensorflow将此项功能进行开源。https://github.com/tensorflow/models/tree/master/im2txt#generating-captions该功能的英文介绍如下:The Show and原创 2017-04-27 11:18:47 · 6954 阅读 · 13 评论 -
tensorflow.models.rnn.rnn_cell.linear在tensorflow1.0版本之后找不到(附tensorflow1.0 API新变化)
由于版本更新关系,从原来的tensorflow低版本到升级到tensorflow1.0以上时,发现有很多API函数变化是很正常的事情,大多碰到的如:如其中tf.nn.rnn_cell命名空间中的很多函数都发生了命名空间的变化,如转移到了tf.contrib.rnn.core_rnn_cell。但是在修改某个程序的时候,发现原来tensorflow.models.rnn.rn原创 2017-05-10 08:39:59 · 11257 阅读 · 2 评论 -
基于Tensorflow的CycleGAN测试(非成对图像风格迁移:橙子--> 苹果)
图像风格迁移有两种大的类型,一种是成对的,一种是非成对了。成对的著名模型就是pix2pix,这种的例子,如从影像地图转换为矢量地图,从素描转换为纹理图等。这些的特点就是训练数据集之间的成对的。而非成对的,就是如从不同物体之间的转换,如从橙子转换为苹果,或者不同季节之间的切换。(http://img.mp.itc.cn/upload/20170527/6936b81df19f40原创 2017-06-02 16:39:10 · 7288 阅读 · 0 评论 -
protobuf 转换python代码时发生 Expected "required", "optional", or "repeated".错误解决方法
Google Protocol Buffers 简称 Protobuf,它提供了一种灵活、高效、自动序列化结构数据的机制,可以联想 XML,但是比 XML 更小、更快、更简单。仅需要自定义一次你所需的数据格式,然后用户就可以使用 Protobuf 编译器自动生成各种语言的源码,方便的读写用户自定义的格式化的数据。与语言无关,与平台无关,还可以在不破坏原数据格式的基础上,依据老的数据格式,更新现有的原创 2017-06-19 09:14:21 · 12530 阅读 · 4 评论 -
tensorflow-gpu安装及问题解决(ImportError: libcudnn.so.7,module 'tensorflow.python.training.checkpointable'
最近需要用GPU来进行tensorflow进行训练,发现需要安装cuda 9.0版本才可以,因为tensorflow默认的就是cuda 9.0,为了减少对tensorflow源码进行重构的时间,将之前的cuda8.0版本进行了卸载,然后再安装cuda 9.0安装过程如下:# instructions from https://developer.nvidia.com/cuda-downl...原创 2018-10-06 19:18:48 · 6822 阅读 · 0 评论