大数据挖掘SparkExpert的博客

原创 module 'tensorflow.python.framework.fast_tensor_util' does not match runtime version 3.6问题解决

最近在重新用tensorflow 1.3.*或者1.4 的时候，发现了好多问题，主要是碰到了如题目所示的问题，目前网上没有什么好的解决办法。关于这个问题，在https://github.com/tensorflow/tensorflow/issues/14182中有较为详细的说明，然而都没有给出较好的解决办法，无法都是降低到python3.5的环境下。针对这个问题，升级到1

原创 博客搬迁说明

我的博客即将搬运同步至腾讯云+社区，邀请大家一同入驻：https://cloud.tencent.com/developer/support-plan

原创 Redis中有序集(Sorted Set)判断某个键的成员存在的设计

一般而言，Redis的ZSet提供了丰富的功能，可以形成诸多应用。在Redis中，提供了如下诸多功能。有序集(Sorted Set)ZADDZREMZCARDZCOUNTZSCOREZINCRBYZRANGEZREVRANGEZRANGEBYSCOREZREVRANGEBYSCOREZRANKZREVRANKZREMRANGEBYRANKZREMRANGEBYSCOREZINTER

原创 spark redis 中碰到java.net.SocketTimeoutException: Read timed out问题的解决

最近在写入redis的时候，程序跑着跑着会发现碰到这样的问题。redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out at redis.clients.util.RedisInputStream.ensureFill(RedisInp

原创 Xception场景分类模型的实践

刚好最近在找场景分类精度更高的模型，因此将会对近年来精度更高的模型(tensorflow slim中集成的模型除外)进行逐一测试。Xception: Deep Learning with Depthwise Separable Convolutions ，谷歌去年推出的一篇论文。看了下这篇论文，它是在inceptionVX的基础上演变过来的。上面右侧四个图刚

原创 pytorch实践中module 'torch' has no attribute 'form_numpy'问题的解决

最近开始仔细玩了一下pytorch，发现里面有个BUG之前都没有发现。在测试torch最基本的示例的情况下，居然碰到了个pytorch无法转化numpy为Tensor的问题，呈现的问题如下：ndscbigdata@ndscbigdata:~/work/change/AI$ pythonPython 3.6.1 (default, Jul 14 2017, 17:08:44) [GCC

原创 Tensorflow protobuf版本报错问题解决(AttributeError: 'module' object has no attribute 'Default')

无意中发现TF跑不了，报的错误是：AttributeError: 'module' object has no attribute 'Default'如下：>>> import tensorflow as tfTraceback (most recent call last): File "", line 1, in File "/home/schidester/usr/t

原创 《Attributed Social Network Embedding》论文学习笔记

一、研究背景        本文提出了一种网络表示学习算法：将结构信息和属性信息同时输入深度神经网络，实现非线性特征抽象，相对传统的浅层神经网络语言模型，有较大性能提升。同时作者提出了离散属性信息的处理方式，是本文的贡献之一。        多源信息融合的表示方法主要有以下几种：一、分别建立表示模型，简单拼接作为最终表示向量；二是训练过程中建立联合优化目标函数，实现线性融合；第三种就是作者

原创 EAST 自然场景文本检测实践(EAST: An Efficient and Accurate Scene Text Detector)

自然场景文字是图像高层语义的一种重要载体，近些年自然场景图像中的文本检测与识别技术越来越引起人们的重视。特别是近年来ICDAR的历界比赛，更是逐渐将这一领域的score不断提升。如http://rrc.cvc.uab.es/?ch=4&com=evaluation&task=1&gtv=1这个主页上看到列出的result结果，都有达到90%多的。此外，一些大公司的AI都提供了这样的接口，如百度AI

原创 健康问答语料的爬虫(C#)

为了实现健康问答系统的构建，需要找一些语料，发现好大夫在线的数据挺好的，于是花了一个小时时间，写了个爬虫，能够爬取其页面上显示的40个疾病左右的问答语料。采用C#来编写，主要效率高一些。开辟了20个线程进行下载，约下载了30多万的问答语料。爬取下来的结果如下所示：可以看到当中存在着几轮对话，当然也有一些噪声，如尽快填表等。######鼻炎

原创 DrQA实践

2017年七月份Facebook开源了其开放域问答系统DrQA的代码。关于DrQA，还有一篇2017年发表在ACL上的论文《Reading Wikipedia to Answer Open-Domain Questions》，在此首先介绍一下论文的原理。    DrQA模型主要分为两部分，第一部分Retriever和第二部分Reader，Retriever根据问题检索出维基百科语料库中最相关的

原创 机器视觉的情感判断实践（From Pixels to Sentiment: Fine-tuning CNNs for Visual Sentiment Prediction）

看到了2017年的一篇文章From Pixels to Sentiment: Fine-tuning CNNs for Visual Sentiment Prediction，对于其里面的视觉中的情感判断，感觉非常有价值，于是就直接利用其提供好的模型进行了测试，感觉效果还是不错。与传统的文本情感判断一样，机器情感的判断基础框架也是一样，对一张图像给个0,1这样的值，然后进行训练。

原创 DeepCut及DeeperCut：基于Tensorflow的人体姿态估计

人体姿态估计是机器视觉的一个重要分支，在行为识别、人机交互、游戏、动画等领域有着很广阔的应用前景，是计算机视觉领域中一个既具有研究价值、同时又极具挑战性的热门课题。本篇主要对http://pose.mpi-inf.mpg.de/#deepcut，即MPII数据集中benchmark比较高的模型进行实验。主要是DeeperCut这篇文章。从上面网站上的前几行文字可以看出dee

原创 ubuntu环境下Pytorch安装及No module named 'torch._C'问题解决

近日，发现很多代码都是基于Pytorch来写的，为了进行测试和学习，于是进行了安装。安装过程算是比较简单，直接从官网上下载源码，https://github.com/pytorch，然后选择从源码来进行安装。（说是可以直接从WHL文件来安装，只不过没有找到。）安装过程的步骤：git clone https://github.com/pytorch/pytorchpi

原创 Photographic Image Synthesis with Cascaded Refinement Networks（由语义分割图生成逼真街景图）

在生成真实图像方面，常用的都是无监督模型，如GAN，VAE等。　　然而ICCV2017的这篇文章，同样是从图像（图像分割结果的语义标注图）到原始的街景图像的转换，它并没有依靠生成对抗网络（GAN）以训练generator与discriminator network的方式来做image-to-image，而是采用了一种级联精练网络Cascaded Refinement Network (CR

原创 空洞卷积与DeeplabV2实现图像语义分割的测试（tensorflow)

图像语义分割是对图像像素级理解的基础，也是图像处理的高阶操作。自从深度学习出来之后，已经有了不少的基于卷积网络的图像语义分割模型，如从全卷积网络到大型卷积核：深度学习的语义分割全指南这篇文章介绍了非常多的模型。本篇博客只对空洞卷积进行多尺度背景聚合（Multi-Scale Context Aggregation by Dilated Convolutions）和DeepLab2（D

原创 基于DeepStream的CNN的可视化理解

对CNN进行可视化是一项重要的工作，有助于理解深度学习模型的黑箱里面到底是什么东西。有个著名的工具是：deep-visualization-toolbox里面还实现了对各种类别的展示，同时还有个遮挡的实验，令人印象深刻。　　此外，只用tensorflow的deepstream来学习一下CNN的模型到底都有哪些东西。代码可以看：https://github.com/tensorflow/te

原创 Tensorflow用于黑白照片(灰度图)着色的测试

视觉效果一直是计算机视觉研究的一个重要领域，如风格迁移等已经是各大顶会的重要栏目。       本篇文章主要用于探索黑白照片着色的功能。       如何给黑白照片上色，如对早先的照片进行更好的渲染，可以便得宝贵的历史影像资料变得更加鲜活，视觉感官更好。       现有的主流模型挺多的，如https://github.com/baldassarreFe/deep-koalarizat

原创 图像语义分割的研究进展(课件PPT)

原创 神经网络模型的压缩及SqueezeNet的应用测试

深度学习已经在很多领域取得了重大突破，然而现有深度学习训练好的模型经常都比较大，如ImageNET或者COCO上面的各种训练模型经常是几百M以上，这对于现有主流的计算机当然没有什么问题，但是对于一些移动设备或者一些硬件层面上的应用可能就比较有难度。因此神经网络压缩也是深度学习研究应用的重要一环。在微软秦涛的一篇演讲(http://www.msra.cn/zh-cn/news/blogs

原创 基于tensorflow的人脸识别技术(facenet)的测试

人脸识别的应用非常广泛，而且进展特别快。如LFW的评测结果上已经都有快接近99.9%的。Uni-Ubi600.9900 ± 0.0032FaceNet620.9963 ± 0.0009Baidu640.9977 ± 0.0006AuthenMetric650.9977 ± 0.0009MMDFR670.9902

原创 基于MTCNN的人脸自动对齐技术原理及其Tensorflow实现测试

人脸识别是计算机视觉研究领域的一个热点。而人脸识别包含了诸多步骤，下图所示(摘自http://www.techshino.com/upfiles/images/%E4%BA%BA%E8%84%B8%E8%AF%86%E5%88%AB%E6%8A%80%E6%9C%AF%E6%B5%81%E7%A8%8B(2).png)：

原创 Attention is all you need新翻译架构的测试

翻译的进展真是很快，如近日，谷歌再次宣布又在机器翻译上更进了一步，实现了完全基于 attention 的 Transformer 机器翻译网络架构。这篇文章的模型完全是在编码－－解码程序基础上加上Attention机制。里面具体模型的实现可以借鉴别人的论文笔记：https://zhuanlan.zhihu.com/p/27469958。核心还是在于里面的Attentio

原创 基于tensorflow的视觉问答系统构建

视觉问答（Visual Question Answering，VQA），是多模态数据挖掘的前沿应用之一，里面涉及计算机视觉和自然语言处理的学习任务。VQA系统需要将图片和问题作为输入，结合这两部分信息，产生一条人类语言作为输出。针对一张特定的图片，如果想要机器以自然语言来回答关于该图片的某一个特定问题，我们需要让机器对图片的内容、问题的含义和意图以及相关的常识有一定的理解。现有视觉问答

原创 tensorflow model中目标对象检测包的编译和测试

前段时间，谷歌开放了 TensorFlow Object Detection API 的源码，并将它集成到model中。这个代码库是一个建立在 TensorFlow 顶部的开源框架，方便其构建、训练和部署目标检测模型。设计这一系统的目的是支持当前最佳的模型，同时允许快速探索和研究。在其官方文档说明书上面说明了提供的几个模型：In addition to our base T

原创 ubuntu14.0环境下matplotlib中ImportError: No module named _tkinter问题解决

Matplotlib是一个Python下的图形框架，可以很方便地进行图形化显示。可以说是做图像处理和数据分析必装的库。但是在实际应用过程中，经常发现有这样的错误，即：>>> import matplotlib.pyplot as pltTraceback (most recent call last):  File "", line 1, in   File "/usr/loc

原创 protobuf 转换python代码时发生 Expected "required", "optional", or "repeated".错误解决方法

Google Protocol Buffers 简称 Protobuf，它提供了一种灵活、高效、自动序列化结构数据的机制，可以联想 XML，但是比 XML 更小、更快、更简单。仅需要自定义一次你所需的数据格式，然后用户就可以使用 Protobuf 编译器自动生成各种语言的源码，方便的读写用户自定义的格式化的数据。与语言无关，与平台无关，还可以在不破坏原数据格式的基础上，依据老的数据格式，更新现有的

原创 ubuntu中eclipse环境下import cv2后opencv函数调用失败问题解决办法

当前opencv的安装已经非常方便，特别是python版本。主要是pip已经提供了opencv-python的包，直接可以免编译实现对opencv的安装。如https://pypi.python.org/pypi/opencv-python网页中提供了多个链接的下载安装办法。opencv_python-3.2.0.7-cp36-cp36m-manylinux

原创 基于Tensorflow的CycleGAN测试(非成对图像风格迁移：橙子--> 苹果)

图像风格迁移有两种大的类型，一种是成对的，一种是非成对了。成对的著名模型就是pix2pix，这种的例子，如从影像地图转换为矢量地图，从素描转换为纹理图等。这些的特点就是训练数据集之间的成对的。而非成对的，就是如从不同物体之间的转换，如从橙子转换为苹果，或者不同季节之间的切换。(http://img.mp.itc.cn/upload/20170527/6936b81df19f40

原创 神经网络在关系抽取中的应用

一、关系抽取简介信息抽取的主要目的是将非结构化或半结构化描述的自然语言文本转化成结构化数据（Structuring），关系抽取是其重要的子任务，主要负责从文本中识别出实体（Entities)，抽取实体之间的语义关系。如：句子“Bill Gates is the founder of MicrosoftInc.”中包含一个实体对(Bill Gates, Microsoft Inc.)，这两个

原创 deepwalk遇到RuntimeError on windows trying python multiprocessing问题解决办法

本实验基于deepwalk1.0.2，Windows7,64bits在调试代码TriDNR时，编译如下模块时发生错误：代码网址：https://github.com/shiruipan/TriDNR参考论文《Tri-Party Deep Network Representation》程序执行混乱，读图不成功。追踪代码发现是networkutils模块下：于是再查询到

原创 CANE-Context-Aware Network Embedding for Relation Modeling论文学习

2.   CNN参考网址：https://github.com/Syndrome777/DeepLearningTutorial/blob/master/4_Convoltional_Neural_Networks_LeNet_%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C.mdhttp://www.cnblogs.com/

原创 图像目标检测技术进展（课件总结PPT）

为了更好地理解整个图像目标检测技术的进展，综合网上各种资料，完成了课件。在此分享一下。

原创 tensorflow.models.rnn.rnn_cell.linear在tensorflow1.0版本之后找不到（附tensorflow1.0　API新变化）

由于版本更新关系，从原来的tensorflow低版本到升级到tensorflow1.0以上时，发现有很多API函数变化是很正常的事情，大多碰到的如：如其中tf.nn.rnn_cell命名空间中的很多函数都发生了命名空间的变化，如转移到了tf.contrib.rnn.core_rnn_cell。但是在修改某个程序的时候，发现原来tensorflow.models.rnn.rn

原创 基于Tensorflow的VCTK语音识别例子测试

语音识别是深度学习早先攻克的几个领域之一。传统的基于HMM等的语音识别精度一直比较受限。但是深度学习还是给语音识别的精度带来了一个飞跃性的提高。本文在网上找了段代码实现了下，感觉非常简单就可以复现。不过看了过程，也非常简单，主要有几步：（1）　下载VCTK数据集；（2）　对数据集，提取每个WAV文件的MFCC特征以及对应的语音文本标注语料。（3）　设置CTC的损失目

原创 基于seq2seq的中国对联自动配对技术实践

Sequence to Sequence模型这种基于编码--解码的模型已经被谷歌成功应用于机器翻译上。而理论上任意的序列到序列的有监督问题都可以用这种模型。如上一篇文章写的古诗生成。包括这一篇实践性的对联配对。对对联生成过程中，需要使用LSTM来实现，然后需要设置其编码与解码的相关参数。如下所示：# 创建基本的LSTM单元cells = [tf.contrib.rnn.Dropo

原创 基于seq2seq的中国古诗词自动生成技术

文本生成技术是深度学习赋予自然语言处理一项全新的技术，而刚好网上有这方面诸多的例子，因此趁着有空实现一下中国古诗的自动生成技术，还是挺好玩的。具体步骤主要包括以下几点：(1) 准备语料库，即对据有的古诗进行获取。(2) 生成关键词，并进行词向量转化。(3) 利用RNN的编码解码模型进行训练，由于RNN具备一对多的输出，因此可以很好地解决这种自动生成技术。

原创 Ubuntu环境下OpenCV 3.2版本中CMake error the source directory does not exist

最近想编译安装一下OpenCV，发现用了CMake问题很多，网上对这一块都没有具体介绍，后来才发现是一个简单的白痴问题，因此将问题在此记录一下。关于OpenCV的安装文档特别多。无非都是以下几步：(1)  下载opencv, opencv-contrib源码。(2) 提前安装一些库：主要有：sudo apt-get install build-e

原创 基于tensorflow 1.0的图像叙事功能测试（model/im2txt)

作为多模态数据处理的经典，图像自动打标签（图像叙事功能）一直是一项非常前沿的技术，涉及到机器视觉，自然语言处理等模块。幸运的是，谷歌基于tensorflow将此项功能进行开源。https://github.com/tensorflow/models/tree/master/im2txt#generating-captions该功能的英文介绍如下：The Show and

原创 pix2pix tensorflow试验（GAN之图像转图像的操作）

GAN是一种典型的概率生成模型，其核心思想是：找出给定观测数据内部的统计规律，并且能够基于所得到的概率分布模型，产生全新的，与观测数据类似的数据。概率生成模型可以用于自然图像的生成。假设给定1000万张图片之后，生成模型可以自动学习到其内部分布，能够解释给定的训练图片，并同时生成新的图片。与庞大的真实数据相比，概率生成模型的参数个数要远远小于数据的数量。因此，在训练过程