1011yarn配置

已于 2023-10-12 09:30:06 修改
阅读量77 收藏
点赞数 1
文章标签： yarn
于 2023-10-11 13:49:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62868777/article/details/133759899
版权

1、下载虚拟机进程显示程序

因为之前sdkman下载的jdk不能显示进程，所以要更换jdk

进入yum源，用命令下载（此处的cloudera下载连接是老师的）

wget -c http://192.168.10.120/tools/jdk/cloudera-manager.repo

2、清除缓存

yum clean all

3、重新制作缓存

yum makecache

查看已安装的jdk

yum list installed |grep java

卸载它

yum -y remove java-1.8.0-openjdk.x86_64

查看可安装的cloudera

yum list |grep cloudera

安装cloudera

查看是否安装成功，安装成功

修改/root/.bashrc 文件，添加Java路径

export JAVA_HOME=/usr/java/jdk1.8.0_232-cloudera/

export PATH=$PATH:$JAVA_HOME/bin

激活刚刚的设置

source ~/.bashrc 

查看当前进程，设置成功

2、yarn配置

在/root/server/hadoop-3.2.3/etc/hadoop/yarn-site.xml中<configuration>里添加以下代码

<!--指定resourcemanager 位置节点-->

<property>

   <name>yarn.resourcemanager.hostname</name>

   <value>qwd</value>

</property>

<property>

   <name>yarn.resourcemanager.webapp.address</name>

   <value>qwd:8088</value>

</property>

 <!-- 启动historyserver 服务 只对mr 有效-->

<property>

   <name>yarn.log.server.url</name>

   <value>http://qwd:19888/jobhistory/logs</value>

</property>

 <!-- 每个nodemanager 节点可用可供集群使用的内存,单位MB 1-->

<property>

   <name>yarn.nodemanager.resource.memory-mb</name>

   <value>8192</value>

</property>

 <!-- 每个nodemanager节点 可提供的虚拟CPU个数（线程数，并发数）-->

<property>

   <name>yarn.nodemanager.resource.cpu-vcores</name>

   <value>8</value>

</property>

 <!-- 是否启动一个线程 检查任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉-->

<property>

   <name>yarn.nodemanager.pmem-check-enabled</name>

   <value>false</value>

</property>

 <!--是否启动一个线程 检查任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉-->

<property>

   <name>yarn.nodemanager.vmem-check-enabled</name>

   <value>false</value>

</property>

 <!-- 任务每使用1MB物理内存,最多可使用虚拟内存量,默认是2.1-->

<property>

   <name>yarn.nodemanager.vmem-pmem-ratio</name>

   <value>2.1</value>

</property>

 <!-- yarn 分配资源 最少内存,默认1024MB RAM-per-container-->

<property>

   <name>yarn.scheduler.minimum-allocation-mb</name>

   <value>1024</value>

</property>

 <!-- yarn 分配资源 最小线程数,默认是1-->

<property>

   <name>yarn.scheduler.minimum-allocation-vcores</name>

   <value>1</value>

</property>

 <!-- yarn 分配资源 最大内存,默认8192MB-->

<property>

   <name>yarn.scheduler.maximum-allocation-mb</name>

   <value>4096</value>

</property>

 <!-- yarn 分配资源 最大线程数,默认是32-->

<property>

   <name>yarn.scheduler.maximum-allocation-vcores</name>

   <value>4</value>

</property>

 <!--nodemanager 节点间数据传输方式-->

<property>

   <name>yarn.nodemanager.aux-services</name>

   <value>mapreduce_shuffle</value>

</property>

 <!-- nodemanager 中间结果存放位-->

<property>

   <name>yarn.nodemanager.local-dirs</name>

   <value>/yarn/local</value>

</property>

 <!-- nodemanager 日志存放地址-->

<property>

   <name>yarn.nodemanager.log-dirs</name>

   <value>/root/dfs/yarn/logs</value>

</property>

3、mapreduce 资源配置

在/root/server/hadoop-3.2.3/etc/hadoop/mapred-site.xml中<configuration>里添加以下代码

<!-- 执行mapreduce 任务所使用的资源框架,默认为local 集群用yarn-->

<property>

   <name>mapreduce.framework.name</name>

   <value>local</value>

</property>

 <!-- mapreduce 计算记录-->

<property>

   <name>mapreduce.jobhistory.address</name>

   <value>qwd:10020</value>

</property>

<property>

   <name>mapreduce.jobhistory.webapp.address</name>

   <value>qwd:19888</value>

</property>

 <!-- 主任务进程 申请的内存量-->

<property>

   <name>yarn.app.mapreduce.am.resource.mb</name>

   <value>2048</value>

   <discription>2 * 任务子进程资源</discription>

</property>

 <!-- 任务主进程 申请的内存量中用于业务数据的内存（比例0.75 其余是jvm自身的开销）-->

<property>

   <name>yarn.app.mapreduce.am.command-opts</name>

   <value>-Xmx1500m</value>

</property>

<property>

   <name>yarn.app.mapreduce.am.resource.cpu-vcores </name>

   <value>2</value>

   <discription>2 * 任务子进程资源</discription>

</property>

 <!-- mapreduce 任务主进程 最大失败尝试次数-->

<property>

   <name>mapreduce.am.max-attempts</name>

   <value>3</value>

</property>

 <!-- mapreduce（map） 任务子进程 申请的线程数量-->

<property>

   <name>mapreduce.map.cpu.vcores</name>

   <value>1</value>

</property>

 <!-- mapreduce （map） 任务子进程 申请的内存-->

<property>

   <name>mapreduce.map.memory.mb</name>

   <value>1024</value>

</property>

 <!-- mapreduce（map） 任务子进程 申请的内存 用于业务的内存数量-->

<property>

   <name>mapreduce.map.java.opts</name>

   <value>-Xmx750m</value>

</property>

<property>

   <name>mapreduce.map.maxattempts</name>

   <value>3</value>

   <discription>表示 Reduce Task 最大失败尝试次数,这个配置默认是4 </discription>

</property>

 <!-- mapreduce（reduce） 任务子进程 申请的线程数量-->

<property>

   <name>mapreduce.reduce.cpu.vcores</name>

   <value>1</value>

</property>

 <!-- mapreduce（reduce） 任务子进程 申请的内存-->

<property>

   <name>mapreduce.reduce.memory.mb</name>

   <value>1024</value>

</property>

 <!-- mapreduce（reduce） 任务子进程 申请的内存 用于业务的内存数量-->

<property>

   <name>mapreduce.reduce.java.opts</name>

   <value>-Xmx750m</value>

</property>

<property>

   <name>mapreduce.reduce.maxattempts</name>

   <value>3</value>

   <discription>表示 Reduce Task 最大失败尝试次数,这个配置默认是4</discription>

</property>

<property>

   <name>mapreduce.reduce.shuffle.memory.limit.percent</name>

   <value>0.3</value>

   <discription>单个 shuffle 消耗的内存占reduce 所有内存的比例,默认值为0.25</discription>

</property>

<property>

   <name>mapreduce.task.io.sort.mb</name>

   <value>150</value>

   <discription>mr 中间数据的缓存大小,占用map申请的资源</discription>

</property>

<property>

   <name>mapreduce.task.io.sort.spill.percent</name>

   <value>0.8</value>

   <discription>中间数据缓存达到比例写磁盘</discription>

</property>

<property>

   <name>mapreduce.map.output.compress</name>

   <value>false</value>

   <discription>中间数据写磁盘时是否压缩</discription>

</property>

<property>

   <name>mapreduce.jobhistory.intermediate-done-dir</name>

   <value>hdfs:///hadoop/mr_history/done_intermediate</value>

   <discription>mr 正在运行 的日志存放位置hdfs</discription>

</property>

<property>

   <name>mapreduce.jobhistory.done-dir</name>

   <value>hdfs:///hadoop/mr_history/done</value>

   <discription>mr 运行过的日志存放位置hdfs</discription>

</property>

<property>

   <name>mapreduce.job.reduce.slowstart.completedmaps</name>

   <value>0.4</value>

   <discription>map task 完成一定比例启动 reduce</discription>

</property>

<property>

   <name>yarn.app.mapreduce.am.job.reduce.rampup.limit</name>

   <value>0.5</value>

   <discription>maptask 完成之前,最多启动 reduce 比例</discription>

</property>

<property>

   <name>yarn.app.mapreduce.am.job.reduce.preemption.limit</name>

   <value>0.4</value>

   <discription>map 暂时无法获取资源,最多可以抢占reduce比例</discription>

</property>

<property>

   <name>mapreduce.task.io.sort.factor</name>

   <value>5</value>

   <discription>map 全部完成，有 map输出最大文件数</discription>

</property>

<property>

   <name>mapreduce.reduce.shuffle.parallelcopies</name>

   <value>5</value>

   <discription>reduce 同时取 N 个 map 输出数据</discription>

</property>

4、启动yarn

yarn --daemon start resourcemanager

yarn --workers --daemon start nodemanager

mapred --daemon start historyserver

可以加上昨天hdfs的启动命令，启动之后用jps查看进程，出现如上情况则启动成功

5、尝试计算圆周率

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.3.jar pi 1000 1000

经过漫长的等待之后……出现如下结果

出现异常：org.apache.hadoop.ipc.RenoteException(java.io.IOException

出现原因：修改core-site.xml后没有清空缓存就格式化了，造成spaceID不一致

解决方法：先清空缓存，再格式化。具体方法见上一章

Flash2023
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Yarn安装与配置
新华编程特战队
04-22 1357
Yarn是一个由Facebook开发的JavaScript包管理工具，旨在提高包的安装效率，确保依赖管理的一致性。它通过并行处理任务和利用缓存机制大幅提升了安装速度，同时通过yarn.lock文件确保项目在不同环境中的一致性。Yarn作为一种现代的包管理工具，通过其高效的性能和强大的功能集，在JavaScript和Node.js的开发中提供了显著的优势。正确安装、配置及使用Yarn不仅可以提高开发效率，还可以确保项目的稳定性和安全性。随着Yarn的持续发展，它将继续扩展其功能，为开发社区提供更多支持。
Yarn 配置管理
架构师实战感悟
10-27 7796
此处的Yarn不是Apache Hadoop YARN。而是facebook发布的一款取代npm的包管理工具。
spark on yarn配置
Nickkun的博客
11-19 1743
在安装好spark后 修改spark-env.sh 若没有 将模板文件改名为此名称 在spark安装目录下的conf找到spark-env.sh 添加HADOOP_HOME和HADOOP_CONF_DIR让其加载yarn-site.xml文件配置 修改spark-defaults.conf 同在conf文件夹下找到spark-defaults.conf.template文件改名spark-defaults.conf 添加如下 然后将spark安装目录下的jars中的文件 put到hdfs上图所指
Yarn的资源配置参数
打酱油的葫芦娃
03-05 5543
YARN的资源调度主要针对的是内存(Memory)和CPU，并将其组合抽象成Container来管理分配。 在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负责资源的分配，而NodeManager则负责资源的供给和隔离。ResourceManager将某个NodeManager上资源分配给任务（这就是所谓的“资源调度”）后，NodeManager需按照要求为任务提供相应的资源，甚至保证这些资源应具有独占性，为任务运行提供基
yarn配置文件
weixin_38384296的博客
05-04 5458
yarn现在有两个比较大的版本：yarn1.0和yarn2.0。yarn1.0作为npm的替代方案，能够兼容使用.npmrc配置文件，并且.npmrc的优先级比.yarnrc的优先级更高。但在yarn2.0中，yarn不再支持.npmrc配置文件。 一、yarn1.0和npm yarn1.0和npm，除了以下几点，基本上是一致的（.npmrc配置文件）： 配置文件：yarn的配置文件名为.yarnrc，和npm一样，用户配置文件在~/.yarnrc，项目配置文件在项目根目录下； yarn设置缓存目录的ke
YARN-HA 配置
weixin_45417821的博客
11-11 1885
文章目录YARN-HA 工作机制配置 YARN-HA 集群HADOOP HA 的最终规划 YARN-HA 工作机制 1）官方文档： http://hadoop.apache.org/docs/r3.1.3/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html 2）YARN-HA 工作机制 配置 YARN-HA 集群 1）环境准备 （1）修改 IP （2）修改主机名及主机名和 IP 地址的映射 （3）关闭防火墙 （4）ssh 免密登录 （5）安装 JDK，配
Flink On Yarn模式配置
热门推荐
weixin_44378305的博客
10-18 1万+
Flink On Yarn模式配置Flink On Yarn模式配置引言一、安装JDK二、安装Hadoop三、安装Zookeeper四、安装Flink Flink On Yarn模式配置 引言 ​ Flink依靠Yarn来实现高可用，由于Yarn依赖于Hadoop，而Hadoop又依赖于Jdk。 ​ 准备三台机器 ​ 1.1.1.1 node1 ​ 1.1.1.2 node2 ​ 1.1.1.3 node3 一、安装JDK 1. 下载解压 tar -xvf jdk-8u271-linux-x64.tar
yarn的配置
qq_44767646的博客
12-07 2624
yarn的配置全局配置 全局配置 1、查看版本 yarn -v 2、查看配置 yarn config list 3、配置淘宝镜像 yarn config set registry https://registry.npm.taobao.org/ 4.yarn全局安装包 yarn global add [package-name] 2.配置全局包安装路径 yarn config set global-folder "路径" 3.配置全局缓存路径 yarn config set cache-fol
yarn的安装和配置详细教程
萧阳个人博客
04-28 871
yarn的安装和配置详细教程
WIN安装yarn配置环境变量
weixin_47024492的博客
03-25 2092
安装yarn并配置环境变量
yarn配置文件.7z
12-25
yarn配置文件yarn配置文件yarn配置文件 配合nodejs和yarn使用
yarn 前端打包工具指定配置文件
08-10
yarn 前端打包工具指定配置文件
Hadoop大数据平台构建、YARN配置、启动与验证教学课件.pptx
06-20
YARN配置、启动与验证 YARN配置、启动与验证 序号 任务名称 任务一 YARN组件参数配置 任务二 MapReduce组件参数配置 任务三 配置SSH无密钥登录（slave1为主节点） 任务四 分发YARN与MapReduce配置文件 任务五 启动...
node、npm、yarn环境安装与配置
02-02
详细描述 node环境安装与配置 npm环境配置以及仓库配置 yarn环境配置
Yarn ResourceManager HA配置
03-14
Yarn ResourceManager HA配置，Yarn ResourceManager HA配置
Spark基础学习笔记06：搭建Spark On YARN集群
howard2005的专栏
03-01 1561
1. 学会搭建Spark On YARN模式的集群 2. 能够将Spark应用程序提交到集群运行
电脑温度检测软件， 夏天的时候可以用用，不用安装那么多的臃肿软件
06-16
电脑温度检测软件， 夏天的时候可以用用，不用安装那么多的臃肿软件
基于SpringBoot的旅游网站的设计与实现
06-16
本旅游网站系统采用的数据库是MYSQL，使用JSP技术开发，在设计过程中，充分保证了系统代码的良好可读性、实用性、易扩展性、通用性、便于后期维护、操作方便以及页面简洁等特点。本旅游网站系统采用的数据库是MYSQL，使用JSP技术开发，在设计过程中，充分保证了系统代码的良好可读性、实用性、易扩展性、通用性、便于后期维护、操作方便以及页面简洁等特点。本旅游网站系统采用的数据库是MYSQL，使用JSP技术开发，在设计过程中，充分保证了系统代码的良好可读性、实用性、易扩展性、通用性、便于后期维护、操作方便以及页面简洁等特点。本旅游网站系统采用的数据库是MYSQL，使用JSP技术开发，在设计过程中，充分保证了系统代码的良好可读性、实用性、易扩展性、通用性、便于后期维护、操作方便以及页面简洁等特点。本旅游网站系统采用的数据库是MYSQL，使用JSP技术开发，在设计过程中，充分保证了系统代码的良好可读性、实用性、易扩展性、通用性、便于后期维护、操作方便以及页面简洁等特点。本旅游网站系统采用的数据库是MYSQL，使用JSP技术开发，在设计过程中，充分保证了系统代码的良好可读性、实用性、易扩展性、通用性
BTT0.mdl.z..._lan.zip
最新发布
06-16
BTT0.mdl.z..._lan
yarn 配置环境变量
04-12
要配置Yarn的环境变量，可以按照以下步骤进行操作： 1. 首先，确保已经安装了Yarn。可以在终端中运行以下命令来检查Yarn是否已经安装： ``` yarn --version ``` 2. 如果Yarn尚未安装，请根据操作系统的不同，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值