Hadoop wordcount源码

Hadoop WordCount 源码解析与执行流程

最新推荐文章于 2020-10-27 09:53:39 发布

原创

最新推荐文章于 2020-10-27 09:53:39 发布 · 293 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#mapreduce #hadoop #大数据 #spark

本文详细介绍了如何将Hadoop的WordCount程序打包，并通过Hadoop MapReduce执行。从编写计数程序，到将其上传至Hadoop节点，再到使用hadoop jar命令运行，并查看输出结果，每个步骤都有清晰的说明。

1.写完计数程序打包成jar
只要class文件即可
2.上传到node1上
3.hadoop jar wordcount.jar com.hadoop.mr.WordCount

hdfs dfs -ls /data/output
hdfs dfs -cat /data/output/part-r-00000
也可以把内容copy到当前的目录
hdfs dfs -get /data/output/* ./

package com.hadoop.mr.count;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.</