大数据学习笔记（三）-Yarn

最新推荐文章于 2024-04-29 20:09:04 发布
最新推荐文章于 2024-04-29 20:09:04 发布
阅读量268 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据 yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/langyw98/article/details/78573882
版权
本文是大数据学习笔记的第三部分，主要聚焦于YARN。YARN作为Hadoop的资源调度管理器，负责集群资源的分配与管理。通过配置Yarn的相关文件如mapred-site.xml和yarn-site.xml，可以设置YARN的行为。启动YARN后，可以通过http://192.168.198.128:8088/cluster的WebUI监控集群状态。此外，YARN的History服务默认不启动，需要手动启动。
摘要由CSDN通过智能技术生成

简单来说Yarn就是一个资源调度管理器

配置Yarn
参考文档：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html

1.etc/hadoop/mapred-site.xml:

cp mapred-site.xml.template mapred-site.xml
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

2.etc/hadoop/yarn-site.xml:

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

启动yarn后，webUI可通过http://192.168.198.128:8088/cluster查看

启动yarn默认是没有启动history服务的
启动方法
sbin目录下

./mr-jobhistory-daemon.sh start historyserver
./yarn-daemon.sh start timelineserver

关闭服务的方法
sbin目录下

./mr-jobhistory-daemon.sh stop historyserver
./yarn-daemon.sh stop timelineserver
狂暴棕熊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据之Yarn详解
Sylvia_D507的博客
10-28 2253
1、Yarn的架构设计： 这个过程一共是有8个步骤： 1、用户向Yarn中的ResourceManager提交应用程序，其中包括ApplicationMaster程序，启动ApplicationMaster命令、用户命令等。 2、ResourceManager首先为该Application程序分配第一个Container容器，并与对应的Node Manager通信，要求Node Manag...
大数据技术名词解释
程序呓语
04-02 6892
1、Hadoop：由Apache基金会所开发的分布式系统基础架构，是一个能够对大量数据进行分布式数据的软件框架。Hadoop包含多个技术核心：HDFS、MapReduce、Hive、Hbase。2、HDFS：Hadoop Distributed File System，即分布式文件系统，其关键技术：NameNode、DataNode。3、MapReduce：根源是函数性编程中的Map和Reduce
【大数据】YARN知识点简介
...
05-05 483
YARN产生背景 MapReduce 1.x存在的问题 主节点JobTracker带多个干活的从节点TaskTracker，典型的一对多架构。客户端先提交MapReduce作业到JobTracker，然后JobTracker再进行task的调度，调度完了之后，作业会分发到各个TaskTracker中执行，可见图中的TaskTracker各自执行2个Map任务和1个Reduce任务，此外，Tas...
当我说要做大数据工程师时他们都笑我，直到三个月后……
热门推荐
技术杂谈
10-25 13万+
GitChat 作者：Fickr孫啟誠
hadoop 配置history server 和timeline server
houzhizhen的专栏
06-11 2万+
一,配置history server 1.配置history server,在etc/hadoop/mapred-site.xml中配置以下内容. mapreduce.jobhistory.address localhost:10020 mapreduce.jobhistory.webapp.address localhost:198
大数据学习笔记-Yarn（一）
zhang_232的专栏
01-07 377
数据、程序、运算资源三者组合在一起，才能完成数据的处理，单机不存在问题，但是分布式环境如何协调是一个问题。Hadoop早期用户使用Hadoop与众多主机上运行的桌面程序类似：在少了几个节点上建立一个集群、将数据载入HDFS、运行mapreduceAd hoc集群以单用户的方式建立，随着私人集群的使用实现了HDFS集群的共享，不同于HDFS，共享mapreduce非常困难。HOD集群解决；额集群条件下多租户的问题yahoo发展部署了Hadoop on Demand平台。
黑马大数据学习笔记3-MapReduce配置和YARN部署以及基本命令
weixin_45735391的博客
07-30 3921
MapReduce配置和YARN部署以及基本命令
大数据学习笔记12-Hadoop基础3
MU2377的博客
04-29 480
MapReduce是hadoop三大组件之一,是分布式计算组件Map阶段 : 将数据拆分到不同的服务器后执行Maptask任务,得到一个中间结果Reduce阶段 : 将Maptask执行的结果进行汇总,按照Reducetask的计算 规则获得一个唯一的结果我们在MapReduce计算框架的使用过程中,我们只需要关注,Map任务的规则,和Reduce任务的规则即可MapReduce的核心思想是: 先分(Map)再和(Reduce)思考: MapReduce中hadoop服务帮我们完成了什么???
大数据学习笔记13-Hive基础1
最新发布
MU2377的博客
04-29 612
Hive是一个SQL转化转化工具，将SQL的计算转为MapReduce的计算，让开发人员更加方便进行大数据开发。
大数据学习笔记-Yarn（二）
zhang_232的专栏
02-19 535
本文主要学习了Yarn WebUI服务、YARN操作维护命令、YARN资源管理与隔离、YARN资源调度器Scheduler、YARN核心配置参数等内容
大数据学习笔记汇总指南
03-28
这份“大数据学习笔记汇总指南”涵盖了大数据技术栈中的关键组件，包括Hadoop、Hive、Spark、Storm、Flink以及HBase。让我们逐一深入探讨这些技术及其在大数据生态系统中的作用。 一、Hadoop Hadoop是Apache基金会...
大数据技术学习笔记1
08-03
大数据技术学习笔记1 大数据技术学习笔记1 是一份关于大数据技术的学习笔记，涵盖了大数据技术的基本概念、Hadoop 生态系统、MapReduce 算法、Spark 框架、分布式计算平台等多个方面。 Hadoop 生态系统 Hadoop 是...
大数据hadoop环境搭建学习笔记01
12-13
包含详细的hadoop搭建和环境笔记 有linux 有hdfs yarn service
henrrywan.github.io:大数据学习笔记
04-14
标题 "henrrywan.github.io:大数据学习笔记" 暗示这可能是一个关于大数据学习的个人博客或项目，发布在GitHub平台上。描述中的链接指向了GitHub和Gitee（中国的GitHub镜像）上的个人页面，表明作者Henry Wan分享了他...
《数据算法-Hadoop/Spark大数据处理技巧》读书笔记（一）——二次排序
狂暴棕熊的博客
01-26 2430
写在前面： 在做直播的时候有同学问Spark不是用Scala语言作为开发语言么，的确是的，从网上查资料的话也会看到大把大把的用Scala编写的Spark程序，但是仔细看就会发现这些用Scala写的文章绝大部分是初级内容，最常见的就是某一个API是怎么用的，很多都是拷贝粘贴的重复内容，真正深入的内容并不多见。之前看美团团队写的Spark优化相关放出的代码是用Java写的，《数据算法-Hadoop/
大数据学习笔记（九）-大数据中的压缩
狂暴棕熊的博客
12-13 2362
1.常见压缩格式： gzip，bizp2，LZO，Snappy 2.压缩技术使用原则： 缩小体积则需要更多的CPU计算量，存储数据倾向于大压缩比的压缩技术，根据实际情况选择合适的压缩技术。 3.压缩在大数据计算中的一个重要考量是压缩技术是否支持分割（split） bzip2支持，LZO创建索引后支持 4.要让Hadoop支持压缩，需要对Hadoop源码进行编译
Spark开发中遇到的问题及解决方法
狂暴棕熊的博客
01-16 2070
1.Windows下运行spark产生的Failed to locate the winutils binary in the hadoop binary path异常 解决方法： 1.下载winutils的windows版本 　　GitHub上，有人提供了winutils的windows的版本，项目地址是：https://github.com/srccodes/hadoop-co
大数据学习笔记（七）-Spark的图形化工具的使用
狂暴棕熊的博客
12-01 1990
启动Spark集群：start-all.sh 进入集群的spark-shell: spark-shell –master=spark://hadoop000:7077 进入集群的WebUI管理界面：hadoop000:8080 打开EventLog： conf下的spark-defaults.conf开启配置：spark.eventLog.enabled true spa
Hadoop大数据环境搭建与学习指南
"这篇学习笔记详细记录了大数据Hadoop环境的搭建过程，涵盖了从Linux基础知识到Hadoop组件的安装和使用。主要知识点包括Linux系统操作、Hadoop的HDFS、YARN服务，以及相关的API应用和优化配置。" 在大数据领域，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值