2017年04月_sparkexpert

原创 Ubuntu环境下OpenCV 3.2版本中CMake error the source directory does not exist

最近想编译安装一下OpenCV，发现用了CMake问题很多，网上对这一块都没有具体介绍，后来才发现是一个简单的白痴问题，因此将问题在此记录一下。关于OpenCV的安装文档特别多。无非都是以下几步：(1) 下载opencv, opencv-contrib源码。(2) 提前安装一些库：主要有：sudo apt-get install build-e

2017-04-28 21:57:39 43783 28

原创基于tensorflow 1.0的图像叙事功能测试（model/im2txt)

作为多模态数据处理的经典，图像自动打标签（图像叙事功能）一直是一项非常前沿的技术，涉及到机器视觉，自然语言处理等模块。幸运的是，谷歌基于tensorflow将此项功能进行开源。https://github.com/tensorflow/models/tree/master/im2txt#generating-captions该功能的英文介绍如下：The Show and

2017-04-27 11:18:47 6954 13

原创 pix2pix tensorflow试验（GAN之图像转图像的操作）

GAN是一种典型的概率生成模型，其核心思想是：找出给定观测数据内部的统计规律，并且能够基于所得到的概率分布模型，产生全新的，与观测数据类似的数据。概率生成模型可以用于自然图像的生成。假设给定1000万张图片之后，生成模型可以自动学习到其内部分布，能够解释给定的训练图片，并同时生成新的图片。与庞大的真实数据相比，概率生成模型的参数个数要远远小于数据的数量。因此，在训练过程

2017-04-27 09:08:45 19015 3

原创 google图像新压缩技术RAISR的测试

不久前，Google刚刚发布了一种名为RAISR（Rapid and Accurate Super Image Resolution，意为“快速、精确的超级图像分辨率技术”）的图像压缩技术，旨在保存宝贵的数据，而不牺牲照片质量；并在带宽受限的移动设备上提供清晰锐利的图像。Google声称，该技术可以降低高达75％的带宽，RAISR分析同一图像的低分辨率和高分辨率版本，了解到高分辨率版本

2017-04-26 10:27:27 11406 3

原创 LargeVis可视化技术学习

大图可视化一直是大数据可视化领域的一个关键技术，当前有各种办法，但是今年出来了一个LargeVis的技术，因此对这个技术进行复现和学习一下。前面有很多基础理论，如基本的降维理论，SNE，t-SNE可视化算法等，这些一概略过，想关注理论的可以参考网址：https://bindog.github.io/blog/2016/06/04/from-sne-to-tsne-to-largevis

2017-04-25 11:49:03 8303 6

原创 python3环境下　tensorflow环境中经常遇到'*' has type str, but expected one of: bytes问题的解决

为了对flowers数据集进行训练，于是调用了tensorflow的slim模块中的download_and_convert_flowers.py文件进行处理，但是下载完成之后，执行过程中碰到一个问题：'jpg' has type str, but expected one of: bytes看来tensorflow默认的源码都是基于python2环境下的。

2017-04-18 16:51:00 15062

原创 python3 下 tensorflow slim inceptionV4 问题修正与测试

自从残差网络出来之后，好多人就想着能不能对模型进行结合测试一下。Google Research的Inception模型和Microsoft Research的ResidualNet模型两大图像识别杀器结合效果如何？在这篇2月23日公布在arxiv上的文章“Inception-v4, Inception-ResNet and the Impactof Residual Connections

2017-04-18 16:19:19 3936 1

原创基于tensorflow + Vgg16进行图像分类识别的实验

图像分类识别目前已经得到了很大的飞跃，特别是15年微软提出的resnet已经超越人类，能够对图像中的物体进行更好的识别。为了初步了解一下图像分类识别的过程，学习了一下大牛的主页，发现还是很有意思的。而且从imagenet的角度来说，这个经度还是可以接受的。本实验主要参照了这个网页https://www.cs.toronto.edu/~frossard/post/vgg1

2017-04-17 11:03:30 42955 16

原创基于tensorflow实现图像风格的变换

Leon A. Gatys, Alexander S. Ecker, 和 Matthias Bethge等人的论文“A Neural Algorithm of Artistic Style”开创了图像艺术风格转换的途径，自此之后，利用深度学习相关模型和处理方法，可以实现用计算机代替传世画家的野心。印象派、野兽派、浮世绘、波普、解构主义，曾经艺术风格曾经都是画家脑中不可捉摸的概念。而到了人工

2017-04-15 20:53:56 3984 1

原创 tensorflow 1.01中GAN(生成对抗网络)手写字体生成例子(MINST)的测试

为了更好地掌握GAN的例子，从网上找了段代码进行跑了下，测试了效果。具体过程如下：代码文件如下：import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_dataimport numpy as npfrom skimage.io import imsaveimport o

2017-04-12 21:00:34 13686 9

原创生成对抗网络(GAN)的一些知识整理(课件)

无监督学习是机器学习的未来，而现在GAN的出现，则为无监督学习带来了光明。鉴于GAN的火热，最近将从一些大牛分享资料中截取和整理的资料附图如下：最近测试了一下tensorflow环境下gan的例子。同时

2017-04-12 20:52:21 6110 4

原创 ubuntu环境下 python 3.0以上版本对sqlite3的支持问题

近日，才发现python3.6版本居然不支持sqlite3.这个问题的引起是想实现一下tensorflow下的文本摘要模型的测试。遇到的问题如下：Traceback (most recent call last): File "/home/ndscbigdata/work/python/jdataApp/src/tf/textsum/textsum_data_co

2017-04-10 11:38:03 6017

大数据挖掘SparkExpert的博客