yarn
文章平均质量分 78
zdkdchao
这个作者很懒,什么都没留下…
展开
-
yarn(cdh)中的虚拟cpu和内存
YARN同时支持内存和CPU两种资源的调度,默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置。什么是虚拟cpu目前的CPU被划分成虚拟CPU(CPU virtual Core),这里的虚拟CPU是YARN自己引入的概念,初衷是,考虑到不同节点的CPU性能可能不同,每个CPU具有的计算能力也是不一样的,比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍,这时候,你可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异。用户提交作业时,可以指定每个任务需要的虚拟CPU个数。内存资源转载 2021-10-12 09:00:08 · 1023 阅读 · 0 评论 -
yarn-container的理解
分布式计算意味着多节点,每个节点必须要并行跑很多task(任务),因为如果一个节点只有一个task,那么节点数量远远不够。不管是MR还是spark,分布式并行计算是肯定的,只是driver也就是主从中的主(AM)不同,而yarn的AM是可插拔的。每个task都需要资源,yarn将分配给每个task的资源(目前只包括cpu和内存)抽象为container,是一个任务运行环境的抽象。==》所以说:yarnUI可以查看container的数量,而container的数量不是固定的,随任务进行变化。任务只能原创 2020-08-18 23:00:02 · 2764 阅读 · 1 评论 -
yarn-资源分配策略
一、SRCyarn的调度器、角色组、资源池资源是有限的,所以需要分配资源,我们希望可以为提交到yarn的每个任务设置具体的资源,Hadoop中提供的调度器Scheduler就可以满足这种需求。所以就需要策略,不同的调度器实际上就是不同的策略。调度器根据容量、队列等限制条件(如每个队列分配一定的资源,最多执行一定数量的作业等),将系统中的资源分配给各个提交到yarn的应用程序。调度器仅根据各个...原创 2020-08-22 08:27:20 · 4056 阅读 · 0 评论 -
CDH集群配置
原理目前的CDH集群安装的配置主要考虑的是内存和CPU核数的分配,因为内存和CPU的配置直接影响集群的性能。其他的配置则跟集群整体规划有关,如NameNode,ResourceManager,zookeeper等安装在哪;block块的大小;以及是否需要开启CDH本身提供的一些功能等等。所以以下会分两个部分描述集群的配置文件:内存和CPU参数部分,其他常用配置部分。最后给出整个集群的详细配置参数...原创 2020-08-22 08:24:48 · 1513 阅读 · 0 评论 -
yarn的资源分配、spark的资源获取原理以及配置
spark on yarn的资源调度原理一、须知:yarn is a resource scheduling framework,它可以设置一次任务所能获取的最大和最小资源。资源包括节点、core、memory,yarn可以控制一个任务所能分配的这3样的上下限。可以设置资源池,队列,角色组,通过这些概念来管理资源的分配。spark程序运行时如果内存不足是会报错退出的,亲测,报的...原创 2020-08-22 08:29:55 · 1404 阅读 · 0 评论 -
使用yarn api提交、监控spark任务
使用yarn api提交、监控spark任务原创 2020-02-09 13:21:07 · 963 阅读 · 0 评论