ResourceManager,是在系统中的所有应用程序之间仲裁资源的最终权威,即管理整个集群上的所有资源分配,内部含有一个Scheduler(资源调度器)
NodeManager,是每台机器的资源管理器,也就是单个节点的管理者,负责启动和监视容器(container)资源使用情况,并向Resourcevanoger及其 Scheduler鸨然使用情况
container:即集群上的可使用资源,包含cpu、内存、磁盘、网络等
ApplicatiorMaster(简称AM)实际上是框架的特定的库,每启动一个应用程序,都会启动一个AM,它的任务是与ResourceManoger协商资源,并与NodeManoger一起执行和监视任务
yarn属于hadoop的一个组件,不需要再单独安装程序,hadoop中已经存在配置文件的设置,本身就是一个集群,有主节点和从节点。
注意之间的值不能有空格
在mapred-site.xml中的配置如下
mapreduce.framework.name
yarn
mapreduce.jobhistory.address
tianqinglong01:10020
mopreduce-jobhistory.webapp.address
tianqinglong01:19888
在yarn-site.xml中的配置如下
yarn.resourcemanager.hostname
tianqinglong01
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce_shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
yarn.resourcemanager.scheduler.address
tianqinglong01:8030
yarn.resourcemanager.resource-tracker.address
tianqinglong:8031
yarn.resourcemanager.address
tianqinglong:8032
yarn.resourcemanager.admin.address
tianqinglong:8033
yarn.resourcemanager.webapp.address
tianqinglong:8088
历史服务
如果需要查看yarn的作业历史,需要打开历史服务:
1.停止当前的yarn进程
stop-yarn.sh
2.在yarn-site.xml中添加配置
yarn.log-aggregation-enable
true
yarn.log-aggregation.retain-seconds
640800
:wq
3.分发到其他节点
scp yarn-site.xml tianqinglong02:$PWD
scp yarn-site.xml tianqinglong03:$PWD
4.启动yarn进程
[root@tianqinglong01 hadoop]# start-yarn.sh
5.开启历史服务
mr-jobhistory-server.sh start historyserver
6.查看
jps
在MR程序运行时,有五个独立的进程:
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)
![img](https://i-blog.csdnimg.cn/blog_migrate/5305b5047ce50b083c082052afc65c34.jpeg)
总结
总体来说,如果你想转行从事程序员的工作,Java开发一定可以作为你的第一选择。但是不管你选择什么编程语言,提升自己的硬件实力才是拿高薪的唯一手段。
如果你以这份学习路线来学习,你会有一个比较系统化的知识网络,也不至于把知识学习得很零散。我个人是完全不建议刚开始就看《Java编程思想》、《Java核心技术》这些书籍,看完你肯定会放弃学习。建议可以看一些视频来学习,当自己能上手再买这些书看又是非常有收获的事了。
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!
习路线来学习,你会有一个比较系统化的知识网络,也不至于把知识学习得很零散。我个人是完全不建议刚开始就看《Java编程思想》、《Java核心技术》这些书籍,看完你肯定会放弃学习。建议可以看一些视频来学习,当自己能上手再买这些书看又是非常有收获的事了。
[外链图片转存中…(img-YEPFaJfg-1713497964426)]
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!