Hadoop
qqliang1314
这个作者很懒,什么都没留下…
展开
-
Hadoop 2.X伪分布式环境搭建和测试
我用的jdk版本是1.7,Hadoop版本是2.5.0。一,配置core-site.xml,目录在etc/hadoop下:默认hdfs地址为主机名+端口号(固定是8020端口)二:在当前目录下新建data目录,进入data目录,新建tmp目录,如图所示:三,在core-site.xml配置文件中配置新建好的tmp目录,如下图所示: 四:用命令 bin原创 2015-12-28 23:05:39 · 934 阅读 · 0 评论 -
MapReduce实现WordCount
1,搭建开发环境。(1) 上传maven和eclipse安装包到Linux环境目录。软件版本分别为:eclipse-jee-kepler-SR1-linux-gtk-x86_64.tar.gz,apache-maven-3.0.5-bin.tar.gz。解压软件到指定目录下即可。(2) 配置maven环境变量。以root用户执行命令 # vi /etc/profile ,增原创 2016-02-18 22:50:08 · 760 阅读 · 0 评论 -
虚拟机中Hadoop分布式环境搭建
Hadoop分布式搭建步骤:一、克隆虚拟机,配置IP网卡主机映射。1,克隆之前先把目标虚拟机hadoop目录下share目录下的doc文档目录删掉,在share目录下执行命令 rm –rf doc ,可以减少复制时间,克隆时一定要是关机状态。注意:绝大部分操作都是在普通用户下, 修改系统配置的操作如关闭防火墙,改主机名等是在root用户下操作。克隆完成后修改主机名,IP地址,网卡原创 2016-01-21 20:48:56 · 670 阅读 · 0 评论 -
zookeeper分布式配置测试
Zookeeper分布式配置1, 安装单机模式解压缩后进入到conf目录下,利用原有的zoo_sample.cfg配置zoo.conf文件: $cp -a zoo_sample.cfg zoo.cfg在当前目录下创建数据存储目录data,并配置到zoo.cfg文件中:dataDir=/home/zpl/software/zookeeper-3.4.5/d原创 2016-01-27 21:40:38 · 464 阅读 · 0 评论 -
MapReduce之二次排序
目录应用场景什么是二次排序怎样实现二次排序 示例代码应用场景假如输入文件内容如下:a,1z,3b,2a,100a,3b,1要求经过MapReduce处理后,key升序排列,相同key的vaule也升序排列,如下:a,1a,3,a,100b,1b,2z,3什么是二次排序二次排序是指我们对key进行排序后,同时也需要对va...原创 2019-03-01 22:00:46 · 333 阅读 · 0 评论