Hadoop MapReduce wordcount 实例简单介绍

最新推荐文章于 2022-10-10 09:27:40 发布

ACanswer

最新推荐文章于 2022-10-10 09:27:40 发布

阅读量403

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/ACanswer/article/details/93780813

版权

本文详细介绍了在已搭建的Hadoop HA高可用环境中实现wordcount实例的步骤，包括总体架构、Hadoop环境配置以及具体Java代码的编写和执行。读者需先完成hadoop ha环境和开发环境的配置。

摘要由CSDN通过智能技术生成

本篇介绍MapReduce wordcount简单实例，在此之前请搭建好hadoop ha高可用环境和myeclipse上hadoop api环境配置，如果没有请参考hadoop ha 高可用搭建和hadoop hdfs的api简单使用。

一、总体架构

二、配置hadoop环境

三、wordcount实例编写

一、总体架构

总体结构如下表所示，即hadoop ha 之上添加了RS（Resource Manager）和NM（Node Manager）。

二、配置hadoop环境

虽然node01不需要添加RS或NM，但在此采取的策略是在node01上配置好传输到另外三个节点。

重命名mapred-site.xml.template为mapred-site.xml

cp /myapp/hadoop-3.1.2/etc/hadoop/mapred-site.xml.template /myapp/hadoop-3.1.2/etc/hadoop/mapred-site.xml

配置mapred-site.xml，全部内容如下

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
      <name>yarn.app.mapreduce.am.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
      <name>mapreduce.map.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
      <name>mapreduce.reduce.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HO