hadoop中mapreduce的jar包执行方式

最新推荐文章于 2023-11-09 21:03:31 发布

张大仙是个妖怪

最新推荐文章于 2023-11-09 21:03:31 发布

阅读量7.8k

点赞数

分类专栏： Hadoop 文章标签：分布式集群 Hadoop jar

本文链接：https://blog.csdn.net/NDKHBWH/article/details/70048850

版权

本文详细介绍了如何在Hadoop中通过jar包执行MapReduce任务。首先，安装了Eclipse的HDFS上传下载插件，然后创建了一个Java工程，并导入了Hadoop所需的jar包。接着，在HDFS上创建目录并上传数据文件wc.txt。接着，实现了WordCountMapper类，并将jar包上传到服务器。最后，通过命令行执行jar包，成功运行MapReduce作业，输出了统计结果。

摘要由CSDN通过智能技术生成

1准备:

安装一个hadoop本地上传下载文件的插件hadoop-eclipse-plugin-2.5.1.jar,参考:Eclipse中HDFS上传下载插件使用

2创建一个java工程

在此java工程中导入hadoop的众多jar包,在你下载的hadoop安装包下的share/hadoop下的各个目录都有,功能各不相同,都放入工程中也可以

3.在hdfs上创建一个文件存放目录,并上传一个wc.txt文件

(1)

(2).wc.txt中写入随便数据

hadoop hello world
hello hadoop
hbase zookeeper

3.在工程中WordCountMapper继承Mapper

package mapreduce.mapreduce.wc;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapredu