王大伟啊-CSDN博客

原创 Hadoop+Hive部署安装配置

最近结合具体的项目，搭建了Hadoop+Hive，在运行Hive之前要首先搭建好Hadoop，关于Hadoop的搭建有三种模式，在以下的介绍中，我主要的采用的是Hadoop的伪分布安装模式。写下来给各位分享。准备工作：以上所有的下载的安装包和解压后文件均在/usr/local/hadoop目录1、分别ssh到每台服务器上，在root用户下修改hostname su root vim

2016-07-14 15:54:35 41421 3

当我们学习编程的时候，第一件事情往往是学习如何打印出“Hello World”。正如编程中会有“Hello World”,Tensorflow中入门有mnist，关于mnist，谷歌官方给出了两篇教程。下面简单介绍下如何运行Tensorflow自带的mnist的python程序。Mnist是一个入门级的计算机视觉数据集，它包含各种手写数字图片:它也包含每一张图片对应的标签，告诉我们这个是数字几。比如

2016-08-31 23:06:53 15825

原创基于Centos7的pip安装tensorflow

前言 tensorflow是谷歌的第二代机器学习的框架，tensorflow0.6只支持python2.7以上和python3，两者选一个安装即可，本例的python版本是python2.7.6，在安装的过程中遇到很多问题，特此记录下，以便日后查阅。软件和组件准备名称版本下载地址 Python Python2.7.6.tgz https://www.python.org

2016-08-23 15:57:03 8965 1

原创 ElasticSearch概述及Linux下的单机ElasticSearch安装

这两天在项目中要涉及到ElasticSearch的使用，就上网去搜索了一些这方面的资料，发现elasticSearch的安装分为单机和集群两种方式。在本例中，我们重点介绍单机下的ElasticSearch的安装，亲测可用，记录下来与各位同仁分享。一、ElasticSearch概述ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfu

2016-08-11 15:48:30 13753

原创 git 服务器+git linux客户端搭建

最近团队中在开发一些项目，由于代码经常改动，搞得头大，就想找个代码管理工具。查了一些资料，最后选择使用git管理代码，下面将搭建的过程记录下来与各位同仁分享。（亲测可以使用）一、准备工作服务器1：IP:192.168.18.228, 操作系统：centos 7,角色：git server 服务器2：IP:192.168.18.229,操作系统：centos 7,角色：git client git

2016-08-10 22:13:18 18691

原创 Eclipse导入Maven项目详解（新手初学）

最近遇到Maven管理下的Spring MVC项目，组内某位将项目代码扔过来，一脸懵逼（囧），查阅了一些资料后终于将此项目运行通了（>_<），特此记录下来与各位分享。通俗的来说，Maven就是个类似于git的项目管理工具。而Spring MVC就是将M（Model）、V（View）、C（Controller）三者进行分离进行处理，更有利于开发的进行。下面我将介绍一个别人已经编译好的Maven项

2016-08-02 16:40:58 246955 14

转载 HDFS的原理漫画详解

1、3个部分，客户端client，nameNode（存放元数据及其他信息的节点），dataNode（实际存放数据的节点）2、如何写数据过程3、读取数据的过程4、容错：故障类型及其检测方法5、读写容错6、容错第三部分：dataNode失效7、备份规则8、结语

2016-07-20 10:48:43 944

原创 java socket的网络编程一些小结

网络编程的实质就是实现网络中的两个或者多个设备之间的数据传输，虽然计算机网络中分为很多层，但是对于网络编程来说，很多程序语言都有预先留好的API接口，我们只要调用即可。几个重要的概念 1、IP地址为了能够方便的识别网络上的每个设备，网络中的每个设备都会有一个唯一的数字标识，这个即是IP地址。 2、端口号：在同一个计算机中每个程序对应唯一的端口，这样一个计算机上就可以通过端口区分发送给

2016-07-19 15:12:34 674

原创 kafka本地单机安装部署

kafka是一种高吞吐量的分布式发布订阅消息系统，这几天要上kafka，只在其中的一个节点使用，结合具体的项目实践在此将kafka的本地安装部署流程记录下来与各位同仁分享交流。准备工作：上述的文件除了jdk以外均放在/usr/local/kafka目录下。1、安装jdk,kafka的使用要用到jdk 首先检查有无jdk：java -version cd /usr/local/hadoop

2016-07-19 11:27:54 20457 2

原创 Hive（一）数据类型、文件格式和数据定义

1、基本数据类型 Hive支持多种不同长度的整型和浮点型数据类型，支持布尔类型，也支持无长度限制的字符串类型，后续的Hive增加了时间戳数据类型和二进制数组数据类型。和其他的SQL语言一样，这些都是保留字。需要注意的是所有的这些数据类型都是对Java中接口的实现，因此这些类型的具体行为细节和Java中对应的类型是完全一致的。例如，STRING类型实现的是Java中的String，FLOAT

2016-07-15 21:00:41 6581

转载 Hadoop基本介绍

1、Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（Hadoop Distributed File System）来执行MapReduce程序的MapReduce引擎。（1）Pig是一个基于Hadoop的大规模数据分析平台，Pig为复杂的海量数据并行计

2016-07-14 16:56:53 32070 2

原创【OpenCV】入门资源和学习博客列表

本人接触和学习OpenCV有段时间了，感觉在CSDN上真的有好多大神的存在，ORZ，牛顿（><，应该是他老人家说的吧。。）曾说：我其实是站在巨人的肩膀上！那今天我就想把这些我曾经站过的巨人肩膀，给大家简单的总结罗列下，因为这些真的是很不错的OpenCV的学习资源，欢迎各位补充。O(∩_∩)O！！1、http://www.opencvchina.com/forum.php这是一个入门级的OpenCV论

2015-05-19 20:46:56 2250

原创【OpenCV】图像处理（四）图像金字塔

【图像金字塔】图像金字塔这个词，我们经常在很多地方可以看到。它是图像多尺度表达的一种，最主要的是用于图像的分割。同时，图像金字塔也被广泛用于各种视觉应用中。图像金字塔是一个图像集合，集合中所有的图像都源于同一个原始图像，而是通过对原始图像连续降采样获得，直到达到某个终止条件才停止降采样。我们可以通过下图来形象的说明图像金字塔的概念。在金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似

2015-05-19 15:34:38 2431

原创【OpenCV】图像处理（三）漫水填充+尺寸调整

【漫水填充法】首先，漫水填充在图像处理中是做什么的？漫水填充，经常被用来标记或分离图像中的一部分，以便对其进行进一步的处理或者分析。漫水填充也可以用来从输入图像获取掩码区域，掩码会加速处理过程，或只处理掩码指定的像素点。漫水填充的过程是怎样的？漫水填充操作的结果总是在某个连续的区域。当邻近像素点位于给定的范围（从loDiff到upDiff）内或在原始seedPoint像素值范围内事，cvFloodF

2015-05-17 22:22:17 2817

原创【OpenCV】图像处理（二）图像形态学

最近一直在看一些关于图像处理中的图像形态学和图像的局部分割的东西，一直也没时间去整理记录下相关的内容。今天这篇博文中，我们将重点讨论图像形态学中最基本的转换-膨胀和腐蚀。膨胀和腐蚀能用来做什么？可以用来做诸如消除噪声、分割出独立的图像元素以及在图像中连接相邻的元素。此外，膨胀可以用于填补凹洞，腐蚀能够消除细的凸起。不过效果很大程度上取决于核的选取。形态学也常被用于寻找图像中的明显的极大值区域或极小值

2015-05-17 19:46:56 1195

原创【OpenCV】图像处理（一）平滑处理

OpenCV有很多方面的应用，作为主流的计算机图像处理编程软件，图像处理和计算机视觉是OpenCV应用最为重要的两个方面，在之前的博文里，我们介绍了OpenCV中的CvMat、IplImage等结构，了解了结构的数据类型的构成，接下来，我们将做些更复杂的图像处理工作。这篇博文将重点介绍图像处理中比较重要的一个前期基础工作-平滑处理。平滑处理“平滑处理”也称作模糊处理，也叫滤波，是一项简单且使用频率很

2015-05-11 14:15:49 2993

原创【OpenCV】视频读入、播放控制和写入

刚才随便写了下关于OpenCV中的关于对视频进行操作的几个小程序，其实对视频的操作也是OpenCV的一个重要方面，视频可以看作是图像序列，每一帧都是一个单一的图片，采用循环处理每一帧的方式，也就可以对视频进行处理。OpenCV中对视频的典型操作就是视频的读入、播放控制和写入。下面先介绍几个结构和函数。（1）CvCapture结构CvCapture结构就类似于IplImage结构，这个结构包含从摄像机

2015-05-10 16:47:12 3843

原创【OpenCV】模板匹配

在直方图介绍完，后面有个小小的内容，那就是模板匹配，这里的模板匹配可不是依据直方图进行的，而是通过输入图像上滑动图像块对实际的图像块和输入图像进行匹配。如下图所示：在OpenCV中给出了模板匹配的函数cvMatchTemplate（）,下面简要介绍下这个函数：void cvMatchTemplate( const CvArr* image,//输入图像，8位或浮点型单通道或者是彩色图像

2015-05-09 20:52:20 1887

原创【OpenCV】直方图（二）反向投影

反向投影是一种记录像素点或像素块如何适应直方图模型中分布的方式。通俗的解释下，就是首先计算出某一特征的直方图模型，然后根据直方图模型去图像中搜索该特征。反向投影可以分为记录像素点和像素块，这在OpenCV中是两个函数，分别为cvCalcBackProject（）和cvCalcBackProjectionPatch（）。下面对于这两个函数，将分别做介绍。反向投影应用非常广泛，在之前的博客中，也提到这个

2015-05-07 14:32:19 972

转载【OpenCV】矩阵和图像的操作总结查询

矩阵和图像操作表3-3列出了一些操作矩阵图像的函数，其中的大部分对于图像处理非常有效。它们实现了图像处理中的基本操作，例如对角化、矩阵变换以及一些更复杂的诸如计算图像的统计操作。【47】表

2015-05-03 20:12:49 6143

原创【OpenCV】矩阵CvMat

在OpenCV中有一种数据类型CvMat,也就是OpenCV的矩阵结构。虽然OpenCV完全由C语言实现，但是CvMat和IplImage之间的关系就像C++中的继承关系。实质上，IplImage可以被视为从CvMat中派生的，我想下图应该是很多要知道的：CvMat矩阵结构在介绍CvMat矩阵结构时，我们先来说两个两个问题：1、在OpenCV中没有向量结构。任何时候需要向量，都只需要一个列矩阵（如果

2015-05-03 16:13:11 902

原创【OpenCV】基本数据类型、IplImage数据结构

（一）基本数据类型OpenCV中有多种基本数据类型，虽然这些数据类型在C语言中不是基本类型，但结构都非常简单，在”OpenCV/cxcore/include“目录下的cxtypes.h文件下可以查看其详细定义。（1）CvPoint其中最简单的就是CvPoint。CvPoint是一个包含整型成员x，y的简单结构体。CvPoint有两个变体，就是CvPoint2D32f和CvPoint3D32f,两者都

2015-05-03 10:29:10 2006

原创【OpenCV】直方图（一）直方图初步

最近利用五一的假期时间，把OpenCV中的直方图及其匹配方面看了下，下面就用这篇博文给简单的总结下。直方图广泛应用于图像处理和计算机视觉中。通过标记帧与帧之间显著的边缘和颜色的统计变化，直方图可以用来检测视频中场景的变换。通过为每个兴趣点设置一个有相近特征的直方图所构成的标签，用以确定图像中的兴趣点。边缘、色彩和角等直方图构成了可以被传递给目标识别分类器的一个通用特征类型。可以说，直方图是进行图

2015-05-02 09:54:19 1324

原创【OpenCV】图像变换（六）对数极坐标变换LogPolar&直方图均衡EqualizeHist

（1）Log-Polar变换对于二维图像，Log-polar转换表示从笛卡尔坐标到极坐标的变换。关于笛卡尔坐标向极坐标的变换，这个数学上的变换，我相信在中学很多人就明白，在这里就不做过多的赘述。关于为什么要进行对数极坐标变换？对我们来说，更为重要的是，对数极坐标变换是对物体视场的一种不变表示，即当变换图像的质心移动到对数极坐标平面的某个固定点时。如下图所示，左边三个是我们想要识别成“正方形”

2015-04-29 10:05:56 5877

原创【OpenCV】图像变换（五）-仿射变换和透视变换

在上篇的博文中，我们重点讨论了基于霍夫变换的线段和圆检测。其实在图像的变换中，还有一部分是几何操作，这些操作包括各种方式的拉伸，包括一致性缩放和非一致性缩放（即扭曲）。对于平面区域，有两种方式的几何转换：一种是基于2×3矩阵进行的变换，叫仿射变换；另一种是基于3×3矩阵进行的变换，叫透视变换或者单应性映射。关于仿射变换和透射变换的矩阵变换，这篇博文不做重点讨论，因为图像本质就是矩阵，对矩阵的变换就是

2015-04-28 10:28:21 25109

原创【OpenCV】图像变换（四-2）霍夫变换圆检测

在上篇的博文中，我们重点讨论了霍夫变换的线段检测的数学原理，以及怎样在OpenCV中去实现线段的检测。在这篇博文中，关于圆的检测的数学理论，我们不做重点介绍。我们将简要介绍下OpenCV中自带的基于霍夫变换的圆检测函数cvHoughCircles（）。CvSeq* cvHoughCircles( CvArr* image,//8位的图像，不过不需要是二值图像，可以是灰度图 void*

2015-04-27 15:12:29 1600

原创【OpenCV】图像变换（四-1）-霍夫变换线段检测

霍夫变换是一种在图像中寻找直线、圆及其他形状的方法。原始的霍夫变化是一种直线变换，即在二值图像中寻找直线的一种相对快速方法，变换可以推广到其他普通的情况，而不仅仅是简单的直线。在这篇博文中，我们先对霍夫变换的线段检测讨论下。（1）霍夫变换的线段检测理论如下图所示，在直角坐标系中有一条直线l，原点到该直线的垂直距离是ρ，垂线与X轴的夹角θ，则这条直线是唯一的，且其方程为：而这条直线用极坐标表示为（

2015-04-26 20:24:43 4369

原创【OpenCV】图像的变换（三）-Canny边缘检测

在上篇的博文中，我们重点讨论了图像变换中的两种典型边缘检测算子，分别是Sobel算子和Laplace算子，并且给出了OpenCV中自带函数cvSobel（）和cvLaplace（）。这篇博文中，将重点介绍一种常用的边缘检测算子-Canny算子。关于Canny算子的数学理论，在这篇博文中，我们将不做重点介绍，可以参阅以下的博文： http://www.cnblogs.com/cfantaisie

2015-04-24 15:46:05 1556

转载【OpenCV】图像变换（二）边缘检测：梯度算子、Sobel算子和Laplace算子

这两天看了下边缘检测的内容，下面就对这些边缘检测的算子的理论进行总结，感觉有篇博文在这些内容方面写的很好，特转载如下： http://blog.csdn.net/xiaowei_cqu/article/details/7829481边缘边缘(edge)是指图像局部强度变化最显著的部分。主要存在于目标与目标、目标与背景、区域与区域(包括不同色彩)之间，是图像分割、纹理特征和形状特征等图像分析的重要基

2015-04-24 09:42:13 10220

原创 OpenCV图像变换（一）卷积

最近在学习OpenCV中的图像变换方面的知识，想就前面的学习进行个简单的总结。图像的变换就是将一幅图像转变成图像数据的另外一种表现形式。图像的变换有很多内容，主要涉及到图像的卷积滤波、扭曲、拉伸、霍夫变换、离散傅里叶变换等等。在这篇博文中，我们将先从图像的卷积开始讨论。（1）卷积关于卷积的数学理论，我们在信号与系统或者是积分变换的教材中已经多次提到，对于一维卷积通俗的来说，实际的过程就是f(x)先做

2015-04-23 20:14:12 2513

原创 OpenCV轮廓特性（二）

在上一篇的博文中，我们主要给出了cvFindContours（）和cvDrawContours（）函数的基本用法，结合示例程序，分析了获得图像轮廓和画出显示轮廓的大致的程序思路。在获取轮廓之后，我们要重点分析轮廓的一些性质。轮廓有很多特性，下面我们来逐一看这方面的特性。（1）轮廓的多边形逼近轮廓的多边形逼近指的是，使用多边形近似地来表示一个轮廓，这样做的目的在于减少轮廓的顶点数目。OpenCV中给出

2015-04-17 09:57:19 2450

原创 OpenCV轮廓查找（一）

虽然Canny之类的边缘检测算法可以根据像素间的差异检测出轮廓边界的像素，但是它并没有将轮廓作为一个整体。下一步是要把这些边缘像素组装成轮廓。而对于这一步的实现，OpenCV自带了函数cvFindContours（）和cvDrawContours（）,这两个函数主要的作用就是检测轮廓，并把检测到的轮廓画出来。下面先给出个完整的轮廓检测示例，然后我们再结合这个程序示例，解释相关的函数。#inclu

2015-04-15 22:09:00 1657

原创运动目标跟踪算法简单总结（六）

把OpenCV上的光流法，meanshift和camshift算法等看完学习之后，突然间想去查查文献，看看现在关于目标跟踪的一些主流算法，下面就简单的总结下。运动目标跟踪就是在一段视频序列图像中的每幅图像中实时的找到所感兴趣的运动目标。在目标跟踪的研究上，大致上可以看出有两种研究思路： a.不依赖于先验知识，直接从图像序列中检测到运动目标，并进行目标识别，最终跟踪感兴趣的运动目标； b.依赖

2015-04-14 22:01:59 7984

原创 OpenCV目标跟踪（五）-kalman滤波器

在实际的运动跟踪中，由于环境因素或者别的原因总会有一些噪声的存在，这样的跟踪效果就会变差，人们想到尽可能多的去利用测量结果来估计运动。这样，任务就可以分为两个阶段：第一阶段，即预测阶段，用过去得到的信息进一步修正以取得目标的下一个将会出现的位置。第二阶段，即校正阶段，我们获得一个测量，然后与基于前一次测量的预期值进行调整。基于以上的任务，匈牙利数学家kalman提出了kalman滤波器的思想，这

2015-04-13 20:06:39 6038 1

原创 OpenCV目标跟踪（四）-运动模板

OpenCV中运动与跟踪这一章节中，在前面的介绍中，主要给出了LK光流法，以及基于概率统计，窗口搜索的meanshif算法以及meanshif算法的改进版-camshift算法，这两天主要在看运动模板的跟踪运动方法，下面就简要的介绍下。运动模板的方法是美国的MIT实验室提出来的，是一种有效的跟踪普通运动的方法，尤其可应用在姿态识别中。运动模板的方法首先需要的是知道物体的轮廓，而轮廓的获取可以有很

2015-04-12 09:46:38 4298

原创 OpenCV目标跟踪（三）-camshift算法

这两天主要在学习目标跟踪的典型算法-camshift算法，在讨论和介绍camshift算法之前，我们先来讨论下meanshift算法。（1）meanshift算法 meanshift算法是一种在一组数据的密度分布中寻找局部极值稳定的方法。具体的数学原理主要是基于概率统计的思想，略有点复杂，下面给出一篇博文链接，感兴趣的话可以去研究下meanshift算法背后的概率统计原理。http://

2015-04-08 10:42:23 7887 2

原创 OpenCV目标跟踪（二）-LK光流法

这几天主要看了光流的有关内容，下面就关于光流的有关内容进行个简单的总结。所谓的光流是一种运动模式，这种运动模式即是指一个物体、表面、边缘在一个视角下由一个观察者和背景之间形成的明显移动。在如下的图中给出了光流的直观解释。这里的每个像素都与速度相关联，这样得到的即是稠密光流，在光流中主要分为稠密光流和稀疏光流，相对于稠密光流，稀疏光流的计算则需要在跟踪之前指定一组点，下面我主要介绍下比较流

2015-04-07 20:31:52 14033 2

原创 OpenCV目标跟踪（一）-寻找角点

这两天在看OpenCV中的跟踪与运动这一块，跟踪和运动是一个很大的课题，里面的涉及的内容有很多，按着自己的学习进度上，简要的做个总结。在我们处理一段视频而非某张静止的图片时，我们往往会去关注画面中的一个或者几个物体。对运动的物体的关注，我们处理的方式往往不是将整个物体都作为关注对象，而是选取几个独特的特征点去跟踪，这样我们就引出了角点的概念。（1）角点角点在运动与跟踪的研究中，就是说可以

2015-04-02 22:20:26 6173 2

原创（一）OpenCV安装与配置

初学OpenCV不久，总觉得应该将自己之前的学习进行一个全面细致点的总结。OpenCV作为一个跨平台的计算机视觉库，现在有越来越多的人加入其中。好了，废话少说。工欲善其事，必先利其器。学习OpenCV之前，必须要安装和配置OpenCV。我自己安装的版本是VS2013+OpenCV2.4.8（我就是喜欢追最新的。。O(∩_∩)O）这是两个文件在的地址： OpenCV2.4.8：http://pan.

2015-04-01 10:01:47 865

libstdc组件

pip-8.1.2安装包

libstdc++.so.6.0.20

C++经典著作

数字电子技术基础简明教程课件第1章_逻辑代数的基础

空空如也