伪分布式YARN 上运行 MapReduce 程序

最新推荐文章于 2022-04-01 00:56:14 发布

荒于随_精于思

最新推荐文章于 2022-04-01 00:56:14 发布

阅读量414

点赞数

本文链接：https://blog.csdn.net/qq_42761655/article/details/95873586

版权

1.yran的概念

Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

YARN的基本思想是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建一个全局的ResourceManager（RM）和若干个针对应用程序的ApplicationMaster（AM）。这里的应用程序是指传统的MapReduce作业或作业的DAG（有向无环图）。

YARN 分层结构的本质是 ResourceManager。这个实体控制整个集群并管理应用程序向基础计算资源的分配。ResourceManager 将各个资源部分（计算、内存、带宽等）精心安排给基础 NodeManager（YARN 的每节点代理）。ResourceManager 还与 ApplicationMaster 一起分配资源，与 NodeManager 一起启动和监视它们的基础应用程序。在此上下文中，ApplicationMaster 承担了以前的 TaskTracker 的一些角色，ResourceManager 承担了 JobTracker 的角色。

注：以上来自百度百科

2.yran伪分布式运行wordcount官方案例（基于本人以上三篇hadoop相关记录，如未配置请参考本人伪分布式运行 Hadoop、hadoop 官方 wordcount例子运行）

1）修改etc/hadoop目录下yran.env.sh,配置jdk，配置结果如下图