MapReduce俩种方式实现WordCount的JAVA编程

本文详细介绍了使用MapReduce实现WordCount的三种Java编程方法:1)服务器内部运行jar方式,包括Hadoop环境配置和jar包依赖;2)本地调试的实现,涉及Windows环境下hadoop环境变量配置及源码修改;3)远程eclipse操作服务器环境,包括配置文件的拷贝和调整。每种实现都提供了相应的步骤和注意事项。
摘要由CSDN通过智能技术生成

MapReduce三种方式实现WordCount的JAVA编程


1.MapReduce实现(服务器内部运行jar方式)

  1. Hadoop
    版本:hadoop 2.6.5

  2. JDK
    版本:jdk1.7.0_79

  3. Zk
    版本:zookeeper-3.4.6

  4. 启动环境:
    三台zookeeper:zkServer.sh start
    全面启动Hadoop:start-dfs.sh
    启动YarnHA主节点:start-yarn.sh
    启动YarnHA从节点:yarn-daemon.sh start resourcemanager

  5. Eclipse创建项目并新增jar包
    5.1 创建项目
    在这里插入图片描述
    5.2 维护jar包:1、Build Path; 2、Add Library; 3、User Library;
    在这里插入图片描述
    5.3 新建User Libary后维护jar
    在这里插入图片描述
    Hadoop Jar目录清单:
    avro-1.7.4.jar
    commons-cli-1.2.jar
    commons-codec-1.4.jar
    commons-collections-3.2.1.jar
    commons-configuration-1.6.jar
    commons-httpclient-3.1.jar
    commons-io-2.4.jar
    commons-lang-2.6.jar
    commons-logging-1.1.3.jar
    dom4j-1.6.1.jar
    guava-11.0.2.jar
    hadoop-annotations-2.5.2.jar
    hadoop-auth-2.5.2.jar
    hadoop-common-2.5.2-tests.jar
    hadoop-common-2.5.2.jar
    hadoop-distcp-2.5.1.jar
    hadoop-hdfs-2.5.2-tests.jar
    hadoop-hdfs-2.5.2.jar
    hadoop-hdfs-nfs-2.5.2.jar
    hadoop-mapreduce-client-app-2.5.2.jar
    hadoop-mapreduce-client-common-2.5.2.jar
    hadoop-mapreduce-client-core-2.5.2.jar
    hadoop-mapreduce-client-hs-2.5.2.jar
    hadoop-mapreduce-client-hs-plugins-2.5.2.jar
    hadoop-mapreduce-client-jobclient-2.5.2-tests.jar
    hadoop-mapreduce-client-jobclient-2.5.2.jar
    hadoop-mapreduce-client-shuffle-2.5.2.jar
    hadoop-mapreduce-examples-2.5.2.jar
    hadoop-nfs-2.5.2.jar
    hadoop-yarn-api-2.5.2.jar
    hadoop-yarn-applications-distributedshell-2.5.2.jar
    hadoop-yarn-applications-unmanaged-am-launcher-2.5.2.jar
    hadoop-yarn-client-2.5.2.jar
    hadoop-yarn-common-2.5.2.jar
    hadoop-yarn-server-applicationhisto

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值