Hadoop
文章平均质量分 85
明天还有我
这个作者很懒,什么都没留下…
展开
-
从问题域出发认识Hadoop生态系统
近些年来Hadoop生态系统发展迅猛,它本身包含的软件越来越多,同时带动了周边系统的繁荣发展。尤其是在分布式计算这一领域,系统繁多纷杂,时不时冒出一个系统,号称自己比MapReduce或者Hive高效几十倍,几百倍。有一些无知的人,总是跟着瞎起哄,说Impala将取代Hive,Spark将取代Hadoop MapReduce等。本文则从问题域触发,解释说明Hadoop中每个系统独特的作用/魅力以及转载 2015-12-10 13:15:13 · 287 阅读 · 0 评论 -
Windows安装和使用zookeeper
之前整理过一篇文章《zookeeper 分布式锁服务》,本文介绍的 Zookeeper 是以 3.4.5 这个稳定版本为基础,最新的版本可以通过官网http://hadoop.apache.org/zookeeper/来获取,Zookeeper 的安装非常简单,下面将从单机模式和集群模式两个方面介绍 Zookeeper 的Windows安装和配置.首先需要安装JdK,从Oracle转载 2015-12-18 10:37:37 · 299 阅读 · 0 评论 -
化繁为简 如何向老婆解释MapReduce?
昨天,我在Xebia印度办公室发表了一个关于MapReduce的演说。演说进行得很顺利,听众们都能够理解MapReduce的概念(根据他们的反馈)。我成功地向技术听众们(主要是Java程序员,一些Flex程序员和少数的测试员)解释了MapReduce的概念,这让我感到兴奋。在所有辛勤的工作之后,我们在Xebia印度办公室享用了丰盛的晚餐,然后我径直回了家。 回家后,我的妻子(Supriy转载 2016-03-29 19:30:55 · 413 阅读 · 0 评论 -
HDFS+MapReduce+Hive+HBase十分钟快速入门
1. 前言本文的目的是让一个从未接触Hadoop的人,在很短的时间内快速上手,掌握编译、安装和简单的使用。2. Hadoop家族截止2009-8-19日,整个Hadoop家族由以下几个子项目组成:成员名用途Hadoop CommonHadoop体系最底层的一个模块,为Hadoop各子项目提供各种原创 2016-03-10 19:51:33 · 467 阅读 · 0 评论 -
windows下搭建hadoop+eclipse开发环境
我的环境:windows8+hadoop1.1.2+eclipse4.3(linux为centerOS6.4)实现步骤下载eclipse、hadoop,提取hadoop中的hadoop-eclipse-plugin-1.1.2.jar将其拷贝到eclipse中的plugins中(注 :如果没有找到hadoop-eclipse-plugin-1.1.2.jar,可以到网上下载对应的版原创 2016-03-11 16:28:56 · 418 阅读 · 1 评论 -
hadoop实例分析之WordCount单词统计分析
WordCount单词统计分析 最近在网上看了hadoop相关资料以及单词计数的一个实例,结合网上的资料和自己的看法简要分析一下执行过程。MyMapper.javapackage com.mpred; import java.io.IOException; import org.apache.hadoop.io.IntWritable;imp原创 2016-03-11 16:34:46 · 576 阅读 · 1 评论 -
mapreduce之自定义排序算法
有人说mapreduce中不是有一个自动排序和分组(按key排序和分组)的嘛,我们为什么还需要自己写排序算法呢?因为很多时候这种自动排序无法满足我们的需求,所以我们需要自定义排序算法!需求1:#首先按照第一列升序排列,当第一列相同时,第二列升序排列3 33 23 12 22 11 1----结果---------------1 12 1转载 2016-03-14 11:19:07 · 728 阅读 · 0 评论