本文详细介绍了如何在Linux环境下，于Hadoop文件夹下编写和运行WordCount.java程序。首先，创建wordcount_classes文件夹并进行Java源代码的编译，利用多个Hadoop相关的jar包进行编译生成class文件。接着，将编译后的文件打包成jar包，并在Hadoop的分布式文件系统中准备执行环境。通过这个过程，读者可以学习到Hadoop MapReduce的基本操作流程。
1，在Hadoop文件夹下，比如在Linux系统下，Hadoop解压缩后的文件夹。
该文件夹下有 bin, conf, ivy, lib, sbin, share, src等文件夹，也有 hadoop-client-1.2.1.jar, hadoop-examples-1.2.1.jar等文件。目前设该文件夹的
路径为 /usr/local/hadoop。
首先编写 /usr/local/hadoop/WordCount.java：
package org.myorg;
import java.io.IOException;
import java.util.*;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapred.*;
import org.apache.hadoop.util.*;
public class WordCount {
public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) th
最低0.47元/天 解锁文章
337
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
