关注
分享
Z_Data
大学计算机专业老师一枚，高级开发工程师，专注大数据相关技术分享，实战项目开发。
展开
-
案例实践：YARN调度器的配置与使用
以Hadoop自带的WordCount为例，操作演示公平调度器的配置与使用。原创 2023-09-28 15:12:16 · 490 阅读 · 0 评论 -
YARN的调度器
理想情况下，YARN应用发出的资源请求应该立刻给予满足，然而在现实中，资源是有限的。在一个繁忙的集群上，一个应用经常需要等待才能得到所需要的资源。YARN调度器的工作就是根据既定策略为应用分配资源。原创 2023-09-28 15:06:00 · 347 阅读 · 0 评论 -
YARN的容错性
由于Hadoop致力于通过廉价的商用房服务器提供服务，这样就很容易导致在YARN中运行的各种应用程序出现任务失败或节点宕机，最终导致应用程序不能正常执行的情况。为了更好地满足应用程序的正常运行，YARN通过以下几个方面来保障容错性。原创 2023-09-28 15:02:40 · 159 阅读 · 0 评论 -
MapReduce ON YARN工作流程
YARN是一个统一的资源调度框架，它可以运行很多种应用程序，如MapReduce、spark、Flink等，接下来以MapReduce为例详细介绍作业在YARN中的工作流程。原创 2023-09-28 15:01:44 · 148 阅读 · 0 评论 -
YARN架构设计与工作原理
Apache Hadoop另一种资源协调者（YARN）是一种新的Hadoop资源管理器，是一个通用的资源管理系统，可为上层应用提供统一的资源管理和作业调度服务，它的引入为集群在资源利用、资源的统一管理调度和数据共享等方面带来了巨大的好处。原创 2023-09-28 15:00:37 · 746 阅读 · 0 评论 -
HDFS集群启动、YARN集群、简单操作演示
目录 启动集群 1、格式化HDFS 因为HDFS也是文件系统，第一次使用一个文件系统都要格式化 2、启动hdfs集群（注意启动集群时，最好将集群中所有机器的时间设置一致 3、启动yarn集群 4、使用web查看集群的状态 5、hdfs简单操作演示 6、系统自带mapreduce案例演示 启动集群 1、格式化HDFS 因为HDFS也是文件系统，第一次使...原创 2018-11-07 14:16:26 · 2396 阅读 · 0 评论 -
YARN的任务提交流程简述及图解
#YARN的任务提交流程简述及图解1，Client向ResourceManager发出请求,提交程序，（ResourceManager中有Scheduler调度器和ApplicationsManager应用程序管理器2，ResourceManager向Scheduler返回一个ApplicationID作...转载 2018-11-13 09:43:32 · 1073 阅读 · 0 评论