大数据|| YARN对集群资源进行管理与调度及配置节点资源

1、查看是否启用了yarn服务并启动yarn服务

2、查看yarn集群

说明：内存8G 、CPU 是8核。其实没有那么多，我虚拟机只给了2G 1核。那是为什么？配置文件里面配置的。

3、根据实际生产环境给nodemanager配置内存和cpu资源大小(yarn-default.xml)

4、配置示例:在yarn-site.xml 中添加如下配置

yarn中相关内存的配置

YARN允许用户配置每个节点上可用的物理内存资源，注意，这里是“可用的”，因为一个节点上的内存会被若干个服务共享，比如一部分给YARN，一部分给HDFS，一部分给HBase等，YARN配置的只是自己可以使用的，配置参数如下：

yarn中相关cpu的配置

目前的CPU被划分成虚拟CPU（CPU virtual Core），这里的虚拟CPU是YARN自己引入的概念，初衷是，考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也是不一样的，比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍，这时候，你可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异。用户提交作业时，可以指定每个任务需要的虚拟CPU个数。在YARN中，CPU相关配置参数如下：

yarn生态环境