Hadoop
yuzhuzhong
这个作者很懒,什么都没留下…
展开
-
虚拟机Ubuntu下Hadoop2.6.1的安装和配置(完全分布式)
本篇文章是在上一篇的的基础上所写,前文已经详细讲解了在怎样配置单机伪分布式的Hadoop,本文着重于完全分布式的配置。此次Hadoop的配置主要是参考了官网及网络上一些教程总结而来,如有错误,多谢指点。伪分布式:http://blog.csdn.net/yuzhuzhong/article/details/49922845本教程所使用的集群环境: 两台虚拟机,一台作为 Mast原创 2015-11-23 20:14:04 · 2023 阅读 · 1 评论 -
Zookeeper的安装配置
一、zookeeperZookeeper 是 Google 的 Chubby一个开源的实现,是 Hadoop 的分布式协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等Zookeeper服务器集群规模不小于3个节点,要求各服务器之间系统时间要保持一致。ZooKeeper的搭建是为了后面HBase的使用。二、集群模式搭建我的集群是Hadoop原创 2016-05-07 21:02:54 · 3949 阅读 · 0 评论 -
Pig的安装配置
一、简介Pig是基于hadoop的一个数据处理的框架。相对于MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行。Pig基本数据类型:int、long、float、double、chararry、bytearray复合数据类型:Map、Tuple、Bag Bag的类型如{('age',31),('na原创 2016-05-07 21:45:19 · 1744 阅读 · 0 评论 -
Hbase安装详解
一、简介HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协调工具。1.HBase(NoSQL)的数据模型1)原创 2016-05-08 17:18:57 · 2827 阅读 · 0 评论 -
MapReduce流程简单解析
以最经典的WordCount单词计数为例来介绍Map/Reduce阶段具体的处理步骤。原创 2016-05-22 19:08:38 · 11298 阅读 · 0 评论 -
用eclipse将Hadoop程序打包成jar及直接设定参数运行
一、用eclipse将Hadoop程序打包成jar1、 选中要打包的文件,右键选择“Export”2、在java下选择JAR file3、①中全选,②中自定义输出目录4、直接“Next”5、选择main class并选择Finish6、以上即可打包成JAR文件,注意程序中需要添加“setJarByClass”7、查看原创 2016-06-13 09:40:09 · 2572 阅读 · 0 评论 -
虚拟机Ubuntu下Hadoop2.6.1的安装和配置(伪分布式)
安装前提:因本人是在虚拟机中安装的Hadoop,故在此主要讲解的是虚拟机中的安装,本文默认已安装好VM和Ubuntu。我使用的是VMware-workstation-full-11.0.0-2305329和ubuntukylin-14.04.2-desktop-i386,其中配置如下图一、安装VMwareTools安装了VMware Tools后,可以在宿主机和虚拟机之间直接拷原创 2015-11-19 08:50:10 · 3200 阅读 · 0 评论