Hadoop
a1000005aa
这个作者很懒,什么都没留下…
展开
-
hadoop环境搭建
1. 下载Cygwin(略) 2. 安装Cygwin(略) 3. 安装ssh, 这里在安装Cygwin的时候,选择cur,再在左边框内输入"ssh"搜索出选项,然后点击框内的default改为instant,这样就会安装ssh.然后安装结束. 4. 免登陆ssh设置 *. $ ssh-keygen -t dsa #生成dsa密匙.[无需用户名密码] *. cat ~/.s...原创 2011-10-28 08:52:56 · 106 阅读 · 0 评论 -
Hadoop WordCount解读
因为最近配置了Hadoop的伪分布式和Hbase和Zookeepr的集群环境。现在正准备研究Hadooop,今天第一个Map/Reduce,启动成功,成就啊。 [code="java"] package org.frame.base.hbase.hadoop; import java.io.IOException; import java.util.StringTokenizer; ...2011-11-01 17:31:29 · 89 阅读 · 0 评论 -
Hadoop WordCount进阶
看了到Hadoop的代码,还是不知道他的执行流程,怎么办呢。我想到了日志,在hadoop的目录下,有log4j,那就用户Log4j来记录Hadoop的执行过程吧. [code="java"] import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Co...2011-11-02 10:50:07 · 98 阅读 · 0 评论 -
HadoopType
Hadoop的类型。 在编写Hadoop的程序的时候,需要传递Key/Value. 比如从Map开始,会有输入对K1,V1.根据不同的输入类型会得到不同的输入对。 map结束后,也会输出K2,V2. 在Combiner间段,会有K2,V2作为输入,K3,V3作为输出,当然这个间段不是必须的. 在Reducer间段,会有K3,V3作为输入,K4,V4作为输出。 其中的K1,K2,K3,...2011-11-16 09:46:26 · 105 阅读 · 0 评论 -
Hadoop简单的Map/Reduce
[code="java"] /** * 需求: * 统计Hbase数据库中某个字符串的使用人数 * 字符串存储格式 1002;1003,2003,1443;1232,232 * 最后统计 模块 使用人数 * 1 1002 X * ... * 把最后的统计信息存储到结果表中. */ public...2011-11-16 10:38:26 · 87 阅读 · 0 评论