Hadoop 伪分布式并做计数测试

配置 YARN(mapred-site.xml)

修改 /opt/hadoop-2.9.2/etc/hadoop  目录下的 YARN 配置文件

#   cd /opt/hadoop-2.9.2/etc/hadoop
#   mv mapred-site.xml.template mapred-site.xml     //首先复制 YARN 配置文件
#   vim mapred-site.xml

在最后修改：

<configuration>

    <property>

        <name>mapreduce.framework.name</name>
        <value>yarn</value>

    </property>

</configuration>

 #   vim yarn-site.xml

 在最后修改：

<configuration>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>

</configuration>

 运行 YARN ，验证是否成功

#   cd /opt/hadoop-2.7.1/sbin      //进入 hadoop sbin 文件夹
#   ./start-yarn.sh                            //开启 YARN
#   jps                                              //查看开启的进程

在浏览器中输入 http://localhost:8088 查看 YARN 管理的集群状态

 

运行 MapReduce 示例(Wordcount)

Wordcount 是 MapReduce 的入门示例程序，   Wordcount 程序的 jar 包已

经放置在 hadoop 安装目录下的/share/hadoop/mapreduce 文件夹中。

#   cd /opt/hadoop-2.9.2
#   ls –all

 

其中有三个 txt 文件 ，我们使用这几个文件中的某个文件作为 Wordcount 的测试文件

上传文件到 HDFS

#   hadoop fs -mkdir /input                    //在 HDFS 的根目录下新建 input  目录
#   hadoop fs -put NOTICE.txt /input     //将本地的 NOTICE.txt 文件上传到 HDFS 的 input目录下
#   hadoop fs -ls -R /                                 //查看文件是否成功上传到 HDFS 上面

 

运行 Wordcount 示例程序

使用 hadoop jar 命令， 后面先指定程序虽用 jar 包的路径，后面是要运行的程序的名称，

最后是输入文件和输出路径，这个命令要根据自己本机 Hadoop 的配置做相应的修改。

# hadoop jar /opt/hadoop-2.9.2/share/hadoop/mapreduce/hadoop-
mapreduce-examples-2.9.2.jar wordcount /input /output

# hadoop fs -ls -R /
# hadoop fs -cat /output/part-r-00000