yuzhuzhong-CSDN博客

原创 Ubuntu下Gradle的安装配置

先决条件：已安装Java JDK orJRE且版本为7或者以上，可通过命令$:java -version查看JDK版本。一、下载下载地址https://gradle.org/releasesGradle Distribution地址http://services.gradle.org/distributions二、解压将安装包解压到选定的安装目录su

2017-03-09 10:23:04 20249 1

原创用eclipse将Hadoop程序打包成jar及直接设定参数运行

一、用eclipse将Hadoop程序打包成jar1、选中要打包的文件，右键选择“Export”2、在java下选择JAR file3、①中全选，②中自定义输出目录4、直接“Next”5、选择main class并选择Finish6、以上即可打包成JAR文件，注意程序中需要添加“setJarByClass”7、查看

2016-06-13 09:40:09 2497

原创 MapReduce流程简单解析

以最经典的WordCount单词计数为例来介绍Map/Reduce阶段具体的处理步骤。

2016-05-22 19:08:38 11237

原创 Hbase安装详解

一、简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。1.HBase(NoSQL)的数据模型1)

2016-05-08 17:18:57 2813

原创 Pig的安装配置

一、简介Pig是基于hadoop的一个数据处理的框架。相对于MapReduce是使用java进行开发的，Pig有一套自己的数据处理语言，Pig的数据处理过程要转化为MR来运行。Pig基本数据类型：int、long、float、double、chararry、bytearray复合数据类型：Map、Tuple、Bag Bag的类型如{('age',31),('na

2016-05-07 21:45:19 1706

原创 Zookeeper的安装配置

一、zookeeperZookeeper 是 Google 的 Chubby一个开源的实现，是 Hadoop 的分布式协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等Zookeeper服务器集群规模不小于3个节点，要求各服务器之间系统时间要保持一致。ZooKeeper的搭建是为了后面HBase的使用。二、集群模式搭建我的集群是Hadoop

2016-05-07 21:02:54 3944

转载 C/C++中float和double的存储结构

在C/C++中float是32位的，double是64位的，两者在内存中的存储方式和能够表示的精度均不同，目前C/C++编译器标准都遵照IEEE制定的浮点数表示法来进行float,double运算。无论是float还是double，在内存中的存储主要分成三部分，分别是：（1）符号位（Sign）：0代表正数，1代表负数（2）指数位（Exponent）：用于存储科学计数法中的指

2016-04-04 21:39:28 465

原创 hadoop2.6上部署spark

Hadoop2.6的安装可以看之前的文章，这里就不再赘述 http://blog.csdn.net/yuzhuzhong/article/details/50000307 相对于前文所建的Hadoop集群这里有了一些简单的变化。在安装eclipse的时候、还有在哪儿我也忘了的一个地方都提示JDk版本低了，为了防止以后使用的时候JDK出现问题我将JDK重新装上最新的1.8.0_65版本，

2015-12-08 08:58:55 1615

原创虚拟机Ubuntu下Hadoop2.6.1的安装和配置（完全分布式）

本篇文章是在上一篇的的基础上所写，前文已经详细讲解了在怎样配置单机伪分布式的Hadoop，本文着重于完全分布式的配置。此次Hadoop的配置主要是参考了官网及网络上一些教程总结而来,如有错误，多谢指点。伪分布式：http://blog.csdn.net/yuzhuzhong/article/details/49922845本教程所使用的集群环境: 两台虚拟机，一台作为 Mast

2015-11-23 20:14:04 2009 1

原创虚拟机Ubuntu下Hadoop2.6.1的安装和配置（伪分布式）

安装前提：因本人是在虚拟机中安装的Hadoop，故在此主要讲解的是虚拟机中的安装，本文默认已安装好VM和Ubuntu。我使用的是VMware-workstation-full-11.0.0-2305329和ubuntukylin-14.04.2-desktop-i386，其中配置如下图一、安装VMwareTools安装了VMware Tools后，可以在宿主机和虚拟机之间直接拷

2015-11-19 08:50:10 3165

yuzhuzhong的博客