修改hadoop集群的yarn.nodemanager.resource.cpu-vcores值

已于 2024-04-29 13:56:59 修改
阅读量79 收藏
点赞数 1
文章标签： linux java hadoop oracle mysql redis
于 2024-04-29 09:56:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37263429/article/details/138302724
版权

  1. cd /opt/hadoop-2.10.1/etc/hadoop

  2. vim hdfs-site.xml

  3. 将yarn.nodemanager.resource.cpu-vcores值修改为100

  4. yarn --daemon stop nodemanager #关闭 nodemanager

  5. yarn --daemon start nodemanager #再次启动nodemanager

  6. hdfs dfsadmin -refreshNodes #在主节点刷新

  7. /data/hadoop/sbin/start-balancer.sh #把hadoop启动起来

  8. 1.宿主机宕机的处理是原来虚拟机已经不可用了，内存数据没办法保存，是通过在另外一台宿主机重新拉起虚拟机的方式来实现的，可以理解为重新开启一台虚拟机。

  9. 2.手动在线迁移是带内存迁移，对应用服务是无感的，逻辑没问题。

年薪丰厚
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
hadoop-yarn-server-nodemanager-2.6.0.jar
02-24
java运行依赖jar包
hadoop生产调优之Hadoop-Yarn 生产经验（参数调优）
ztx22555的博客
12-25 1240
hadoop生产调优之Hadoop-Yarn 生产经验（参数调优）
hadoop-yarn-api-2.7.3.jar
12-20
hadoop yarn
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
摘要 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算 软件特点 Hadoop是一个
CDH hadoop里面 yarn常用配置优化 （避免踩坑）
ShiHao_Li的博客
04-26 829
CDH hadoop里面 yarn常用配置优化 （避免踩坑） 自己日常用到的yarn一些调优参数，避免同学们踩坑。如有补充，还望同学们多多留言。 1.相应的集群配置环境 128G内存，cpu为48核 2.yarn 内存配置 #表示该nodemanager节点上YARN可使用的物理内存总量 （如：128G可取 90G） yarn.nodemanager.resource.memory-mb #container内存范围的最小值（如：可取 2G） yarn.scheduler.minimum-allocati
Hadoop生态圈（三十七）- YARN资源调度器深入研究
程序园@大Null
02-11 1064
YARN FIFO Scheduler（先进先出调度器）详解，YARN Capacity Scheduler（容量调度器）详解，YARN 调度器特性，YARN 调度器配置，YARN 资源调度与隔离，YARN Memory资源分配，YARN CPU资源分配，案例：Capacity调度器配置，YARN Capacity Scheduler配置
YARN调优
mr_zhangs的博客
11-08 1852
yarn一般允许用户配置每个节点上可用的物理资源，注意，这里是"可用的"，不是物理内存多少，就设置多少，因为一个服务器节点上会有若干的内存，一部分给yarn，一部分给hdfs，一部分给hbase；设置该节点上yarn可使用的内存，默认为8G，如果节点内存资源不足8G，要减少这个值，yarn不会智能的去检测内存资源，一般这个设置yarn的可用内存资源。单个任务最大可申请的虚拟核心数，默认为4，如果申请资源时，超过这个配置，会抛出。单个任务最小申请物理内存量，默认1024MB，根据自己的业务设定。
Yarn 资源调度器
twi_twi的博客
03-19 765
Yarn 资源调度器 原理和工作流程介绍
yarn参数设置
weixin_46680124的博客
06-30 3245
NM 主要使用两个参数来限制 containers CPU 资源使用。首先，使用 yarn.nodemanager.resource.percentage-physical-cpu-limit 来设置所有 containers 的总的 CPU 使用率占用总的 CPU 资源的百分比。比如设置为 60，则所有的 containers 的 CPU 使用总和在任何情况下都不会超过机器总体 CPU 资源的 60 %。然后，使用 yarn.nodemanager.linux-container-executor.cgr
yarn 参数调整
qq_43192537的博客
09-20 827
yarn 参数调整
hadoop-3.1.1.3.1.4.0-315.tar.gz
10-11
ambari-2.7.5 编译过程中四个大包下载很慢，所以需要提前下载，包含：hbase-2.0.2.3.1.4.0-315-bin.tar.gz ，hadoop-3.1.1.3.1.4.0-315.tar.gz ， grafana-6.4.2.linux-amd64.tar.gz ，phoenix-5.0.0.3.1.4.0-315....
hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载
05-17
hadoop-2.7.3.tar.gz 下载 目前相对比较稳定的版本 hadoop tar 包下载hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载
hadoop-yarn.zip_The Project_com.hado_hadoop
09-24
This project contains the hadoop yarn source code along with some of my modifications, related to security features
【YARN】yarn 集群管理之memory、cpu 相关配置
人生所向，皆是美好
12-17 1349
目录yarn 管理内存相关配置yarn 管理vcores相关配置 yarn 管理内存相关配置 properties value 描述 description yarn.nodemanager.resource.memory-mb -1 可分配给containers的物理内存量（以MB为单位）。 如果设置为-1并且yarn.nodemanager.resource.detect-ha...
【运维】hadoop 集群安装（三）hdfs、yarn集群配置、nodemanager健康管理讲解
hiliang521的博客
08-30 1335
【运维】hadoop 集群安装（三）hdfs、yarn集群配置、监控nodemanager配置
Hadoop 3.x|第十七天|Yarn框架（调度器，常用命令，生产环境配置参数）
z754916067的博客
04-29 1363
作业调度器 Hadoop作业调度器主要有三种：FIFO，容量（Capacity Scheduler）和公平（Fair Scheduler）。 Hadoop3.1.3默认的资源调度器是Capacity Scheduler CDH框架默认调度器是Fair Scheduler FIFO先进先出调度器 FIFO调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。 一个job里可能包含多个MapTask和多个ReduceTask,把Job分配给服务器节点资源。 容量调度器
Yarn 3.x版本容器内存控制功能失效排查
热门推荐
weixin_42473019的博客
11-28 2万+
问题背景 Yarn集群中一部分节点的内存被打爆，排查发现作业使用内存超出了NodeManager的最大内存限制 找出故障时间点运行的作业，发现作业内存设置不合理，用户只设置了 mapreduce.map.java.opts=-Xmx40240m; mapreduce.reduce.java.opts=-Xmx80240m; 而没有设置 mapreduce.map.memory.mb（默认为1536） mapreduce.reduce.memory.mb（默认为3072） mapreduce.map.me
Hadoop之Yarn案例
lslslslslss的博客
12-17 1132
Hadoop之Yarn案例 目录 Hadoop之Yarn案例 一、Yarn生产环境核心参数配置案例 二、容量调度器多队列提交案例 向Hive队列提交任务 一、Yarn生产环境核心参数配置案例 1）需求：从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 2）需求分析： 1G / 128m = 8个MapTask；1个ReduceTask；1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务（4 3 3） 3）修改yarn-sit
linux---进程通信
最新发布
m0_74979625的博客
05-17 568
提示：以下是本篇文章正文内容，下面案例可供参考。
hadoop集群搭建yarn-site.xml文件
05-16
yarn-site.xml是Hadoop YARN的配置文件之一，主要用于配置YARN资源管理器（ResourceManager）和节点管理器（NodeManager）的相关参数。下面是一个示例yarn-site.xml文件，你可以根据自己的需求进行相应的修改。 ```xml <?xml version="1.0"?> <configuration> <!--YARN ResourceManager配置--> <property> <name>yarn.resourcemanager.hostname</name> <value>your_rm_host_name</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>${yarn.resourcemanager.hostname}:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>${yarn.resourcemanager.hostname}:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>${yarn.resourcemanager.hostname}:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>${yarn.resourcemanager.hostname}:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>${yarn.resourcemanager.hostname}:8088</value> </property> <!--NodeManager配置--> <property> <name>yarn.nodemanager.local-dirs</name> <value>/tmp/hadoop-yarn/nm-local-dir</value> </property> <property> <name>yarn.nodemanager.log-dirs</name> <value>/tmp/hadoop-yarn/nm-logs</value> </property> <!--NodeManager与ResourceManager通信配置--> <property> <name>yarn.nodemanager.remote-app-log-dir</name> <value>/tmp/hadoop-yarn/logs</value> </property> <property> <name>yarn.nodemanager.log-aggregation-dir</name> <value>/tmp/hadoop-yarn/logs</value> </property> <property> <name>yarn.log.server.url</name> <value>http://${yarn.resourcemanager.hostname}:19888/jobhistory/logs</value> </property> <!--YARN应用程序配置--> <property> <name>yarn.app.mapreduce.am.resource.mb</name> <value>1024</value> </property> <property> <name>yarn.app.mapreduce.am.command-opts</name> <value>-Xmx768m</value> </property> </configuration> ``` 需要注意的是，yarn-site.xml文件需要放置在Hadoop的配置目录下（默认为$HADOOP_HOME/etc/hadoop）。另外，如果你使用的是Hadoop集群，那么该文件需要在所有的节点上进行相应的修改和配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值