Hadoop
文章平均质量分 76
水上骑兵
好好生活并努力着
展开
-
hadoop安装
安装版本信息: OS :Red Hat Enterprise Linux Server release 5.3 (Tikanga) JDK : Java(TM) SE Runtime Environment (build 1.6.0_25-b06) Hadoop : hadoop-0.20.203.0一、修改集群hostn原创 2012-06-21 17:13:11 · 435 阅读 · 0 评论 -
Hadoop 键值对的mapreduce过程剖析
Hadoop的Mapreduce是一个分布并行处理大数据的程序框架,一个Map/Reduce 作业(job) 通常会把输入的数据集切分为若干独立的数据块,由 map任务(task)以完全并行的方式处理它们。框架会对map的输出先进行排序, 然后把结果输入给reduce任务。通常作业的输入和输出都会被存储在文件系统中。 MapReduce程序是通过键值对来操作数据的,其原创 2012-08-04 16:13:39 · 4359 阅读 · 0 评论 -
Hadoop2.0 Mapreduce实例WordCount体验
在Hadoop2.0中MapReduce程序的都需要继承org.apache.hadoop.mapreduce.Mapper 和 org.apache.hadoop.mapreduce.Reducer这两个基础类,来定制自己的mapreduce功能,源码中主要的函数如下Mapper.javapublic void run(Context context) throws IOExceptio原创 2012-08-05 14:23:17 · 8114 阅读 · 0 评论 -
Hadoop 文件系统API开发编译
【hadoop】java文件的编译运行Hadoop中Jar包:对于hadoop的几个Jar包中,最好都添加到Java的环境变量CLASSPATH中去,能免去编译运行时的手动添加的Jar包依赖. CLASSPATH=$CLASSPATH:$HADOOP_HOME/hadoop-core-0.20.203.0.jar export CLASSPA原创 2012-07-03 12:23:49 · 1564 阅读 · 0 评论