Hadoop-2.4.1学习之以伪分布模式部署Hadoop

最新推荐文章于 2021-12-10 17:50:26 发布

skyWalker_ONLY

最新推荐文章于 2021-12-10 17:50:26 发布

阅读量6k

点赞数

分类专栏： Hadoop-2.x Hadoop 文章标签： Hadoop-2.4.1 YARN 伪分布模式 hdfs mapreduce

本文链接：https://blog.csdn.net/skywalker_only/article/details/37905463

版权

Hadoop 同时被 2 个专栏收录

49 篇文章 22 订阅 ¥9.90 ¥99.00

订阅专栏

Hadoop-2.x

29 篇文章 18 订阅 ¥9.90 ¥99.00

订阅专栏

本文详细介绍了如何在单机模式和伪分布模式下部署Hadoop-2.4.1，包括配置HDFS和YARN，格式化NameNode，启动守护进程，运行MapReduce作业。在YARN上运行作业时，需要满足一定的硬件要求，例如至少2GB内存。

摘要由CSDN通过智能技术生成

Hadoop-2.x版本与Hadoop-1.x除了整体架构上的变化之外，比如HDFS联盟，YARN等，目录结构、配置管理及执行脚本都有了很大的改变，具体哪些地方做了改变还需要通过持续地学习来掌握。在此之前，先学习如何以单机模式和伪分布模式运行Hadoop。

单机模式

默认情况下，Hadoop作为单个Java进程以非分布式模式运行，该模式非常适于用作Debugg。下面展示了Hadoop-2.4.1自带的统计单词数量的例子，在Hadoop的部署目录中新建目录input，并将etc/hadoop中的配置文件复制到新目录中input中，使用bin/Hadoop 的jar命令运行统计单词数量的jar包，将结果输出到output目录中：

[hadoop@hadoophadoop-2.4.1]$ mkdir input
[hadoop@hadoophadoop-2.4.1]$ cp etc/hadoop/*.xml input
[hadoop@hadoophadoop-2.4.1]$ ls input
capacity-scheduler.xml  core-site.xml hadoop-policy.xml hdfs-site.xml httpfs-site.xml  yarn-site.xml
[hadoop@hadoophadoop-2.4.1]$ bin/hadoop jarshare/hadoop/mapreduce/

了解本专栏