hadoop
迈克尔摩峰
这个作者很懒,什么都没留下…
展开
-
Hadoop伪分布式环境搭建
本次主要是对Hadoop Pseudo-Distributed环境搭建做介绍,以下操作都是在root用户下进行。一、软件环境配置1、 VM:VMware-workstationl-v7.1.42、 OS:ubuntu-11.043、 JDK:jdk1.6.0_274、 Hadoop:hadoop-0.20.25、 ssh二、安装JDK1、下载JDK:jdk-6u27转载 2014-06-06 11:49:18 · 692 阅读 · 0 评论 -
关于hadoop putMerge 出错“wrong FS”问题
1.通过命令行参数args提供上传文件目录和目的文件路径:原创 2014-06-08 12:29:56 · 728 阅读 · 0 评论 -
ubuntu 12.10 hadoop全分布式环境搭建
参考:http://blog.csdn.net/weixuehao/article/details/15813681 http://blog.csdn.net/zolalad/article/details/11470449原创 2014-07-02 14:33:31 · 628 阅读 · 0 评论 -
Hadoop如何通过Bloom Filter提高Join性能
Hadoop的几种Join方法1) 在Reduce阶段进行Join,这样运算量比较小.(这个适合被Join的数据比较小的情况下.)2) 压缩字段,对数据预处理,过滤不需要的字段.3) 最后一步就是在Mapper阶段过滤,这个就是Bloom Filter的用武之地了.也就是需要详细说明的地方. 下面就拿一个我们大家都熟悉的场景来说明这个问题: 找出上转载 2014-06-16 15:44:55 · 1204 阅读 · 0 评论 -
hadoop、hbase、zookeeper环境搭建(详细)
一 机器192.168.0.203 hd203: hadoop namenode & hbase HMaster192.168.0.204 hd204: hadoop datanode & hbase HRegionServer & zookeeper192.168.0.205 hd205: hadoop datanode & hbase HRegionServer & zookeep转载 2014-07-12 11:12:04 · 810 阅读 · 0 评论