编写简单的Mapreduce程序并部署在Hadoop2.2.0上运行

最新推荐文章于 2024-04-21 20:17:19 发布

过往记忆

最新推荐文章于 2024-04-21 20:17:19 发布

阅读量8.6k

点赞数 2

本文链接：https://blog.csdn.net/wypblog/article/details/13506333

版权

本文介绍了如何在Hadoop2.2.0伪分布式环境中运行自编写的MapReduce程序。首先展示了程序的Maven依赖和代码，接着详细阐述了从编译打包到部署运行的步骤，包括启动Hadoop服务、提交作业、解决ClassNotFoundException问题以及查看运行结果的方法。提供了一个完整的MapReduce程序运行流程。

摘要由CSDN通过智能技术生成

经过几天的折腾，终于配置好了Hadoop2.2.0(如何配置在Linux平台部署Hadoop请参见本博客《在Fedora上部署Hadoop2.2.0伪分布式平台》)，今天主要来说说怎么在Hadoop2.2.0伪分布式上面运行我们写好的Mapreduce程序。先给出这个程序所依赖的Maven包：

 
        <dependencies> 
       
        <dependency> 
       
        <groupId>org.apache.hadoop</groupId> 
       
        <artifactId>hadoop-mapreduce-client-core</artifactId> 
       
        <version> 
        2.1 
        . 
        1 
        -beta</version> 
       
        </dependency> 
       
        <dependency> 
       
        <groupId>org.apache.hadoop</groupId> 
       
        <artifactId>hadoop-common</artifactId> 
       
        <version> 
        2.1 
        . 
        1 
        -beta</version> 
       
        </dependency> 
       
        <dependency> 
       
        <groupId>org.apache.hadoop</groupId> 
       
        <artifactId>hadoop-mapreduce-client-common</artifactId> 
       
        <version> 
        2.1 
        . 
        1 
        -beta</version> 
       
        </dependency> 
       
        <dependency> 
       
        <groupId>org.apache.hadoop</groupId> 
       
        <artifactId>hadoop-mapreduce-client-jobclient</artifactId> 
       
        <version> 
        2.1 
        . 
        1 
        -beta</version> 
       
        </dependency> 
       
        </dependencies>

好了，现在给出程序，代码如下：