YARN的配置

最新推荐文章于 2024-07-23 14:11:03 发布
最新推荐文章于 2024-07-23 14:11:03 发布
阅读量4k 收藏
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/code__gease/article/details/123591536
版权
本文档详细介绍了如何修改Hadoop的mapred-site.xml和yarn-site.xml配置文件以启动YARN服务，并展示了通过jps命令检查服务状态。接着，提到了8088端口的安全风险，以及如何通过修改yarn-site.xml来更改ResourceManager的Web应用程序端口，以防止潜在的挖矿攻击。最后，给出了如何通过公网IP和新配置的端口访问YARN的Web界面。
摘要由CSDN通过智能技术生成

1.修改 etc/hadoop/mapred-site.xml文件

先备份该文件

cp mapred-site.xml mapred-site-bk.xml

修改文件

vi mapred-site.xml

在 <configuration> 之间插入

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

退出保存。

2.修改etc/hadoop/yarn-site.xml文件

先备份该文件

cp yarn-site.xml yarn-site-bk.xml

修改文件

vi yarn-site.xml

在 <configuration> 之间，<!-- Site specific YARN configuration properties -->之后，插入

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

保存退出。

3.启动yarn，返回sbin目录

sbin/start-yarn.sh

启动完成后，jps查看

12577 NodeManager
12081 SecondaryNameNode
11876 DataNode
11717 NameNode
12920 Jps
12428 ResourceManager

选择一个查看端口号

netstat -nlp | grep 12428
tcp        0      0 0.0.0.0:8088            0.0.0.0:*               LISTEN      12428/java          
tcp        0      0 0.0.0.0:8030            0.0.0.0:*               LISTEN      12428/java          
tcp        0      0 0.0.0.0:8031            0.0.0.0:*               LISTEN      12428/java          
tcp        0      0 0.0.0.0:8032            0.0.0.0:*               LISTEN      12428/java          
tcp        0      0 0.0.0.0:8033            0.0.0.0:*               LISTEN      12428/java

8088端口，在公网容易被挖矿，防止被挖矿，修改端口号

在yarn-site.xml中配置

vi yarn-site.xml
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:port</value>
    </property>

重启yarn

公网IP:配置的port，进入YARN的WEB页面

july_apply
关注
yarn的安装与配置（秒懂yarn用法）
百赢出品，必属精品
04-21 1万+
Yarn 是一个快速、可靠、安全的 JavaScript 包管理工具，旨在提高开发者在构建 JavaScript 项目时的效率和可靠性。它由 Facebook、Google、Exponent 和 Tilde 共同开发，目的是解决 npm 的一些问题并提供更好的性能和稳定性。Yarn 通过并行安装依赖项和离线缓存机制，能够显著加快包的安装速度，提高开发效率。
大数据hadoop入门案例6–Yarn常用命令和参数配置
qq_42754919的博客
06-02 516
大数据hadoop入门案例6–Yarn常用命令 1.列出所有 Application yarn application -list 2. 根据 Application 状态过滤：（所有状态：ALL、NEW、 NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED） yarn application -list -appStates ALL（状态） 3. Kill 掉 Application yarn application -kill a
Hadoop配置文件解析__yarn-site.xml
feizuiku0116的博客
10-11 511
<!-- Site specific YARN configuration properties --> <!-- 设置YARN集群主角色运行机器位置 --> <property> <name>yarn.resourcemanager.hostname</name> <value>node1</value> </property> <!-- 指定在Yarn上运行的辅助服务 --> <pro.
yarn-site.xml and mapred-site.xml 配置以及属性说明
05-23 396
//启用yarn 作为资源管理框架 <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property&...
hadoop中Yarn配置
cwg844321258的博客
04-12 320
1、etc/hadoop/mapred-site.xml （MapReduce运行在yarn框架上） <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> <property> <property> <name>mapreduce.jobhistory.address&l
yarn的安装与配置(秒懂yarn用法）
最新发布
shiming8879的博客
07-23 1万+
Yarn是一个快速、可靠且安全的JavaScript包管理工具，由Facebook、Google、Exponent和Tilde等公司的开发者共同维护。它旨在解决npm（Node Package Manager）在使用过程中遇到的一些性能问题，并提供更加简洁和一致的命令行接口。以下将详细介绍Yarn的安装与配置方法，以及其基本用法，帮助用户秒懂Yarn的用法。
yarn-site.xml的配置内容
weixin_30790841的博客
01-03 204
<?xml version="1.0"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy o...
Yarn的配置
热门推荐
navy专栏
02-24 1万+
可以通过配置以下Yarn的信息，另外运行ResourceManager守护进程和NodeManager守护进程来进行一个伪分布的MapReduce作业。1、修改hadoop中etc/hadoop目录下mapred-site.xml文件 ，在&lt;configuration&gt;标签中添加以下配置：&lt;property&gt;       &lt;name&gt;mapreduce.fram...
yarn配置文件.7z
12-25
本压缩包“yarn配置文件.7z”包含了与Yarn工作流相关的三个核心文件：`package.json`、`yarn.lock`和`yarnrc`，它们对于理解和管理Node.js项目中的依赖关系至关重要。 1. **package.json**：这是每个Node.js项目的...
Hadoop大数据平台构建、YARN配置、启动与验证教学课件.pptx
06-20
本教学课件将详细讲解如何配置、启动和验证YARN集群，确保高效稳定的数据处理。 首先，任务一是配置YARN组件参数。在`yarn-site.xml`配置文件中，我们需要设置以下几个关键参数： 1. `<name>yarn.nodemanager.aux-...
pyspark on yarn 配置
weixin_44725721的博客
10-25 850
pyspark on yarn 在pycharm上执行出现以下问题：解决方案：在程序最前面添加如下程序。
yarn配置文件
weixin_38384296的博客
05-04 5903
yarn现在有两个比较大的版本：yarn1.0和yarn2.0。yarn1.0作为npm的替代方案，能够兼容使用.npmrc配置文件，并且.npmrc的优先级比.yarnrc的优先级更高。但在yarn2.0中，yarn不再支持.npmrc配置文件。 一、yarn1.0和npm yarn1.0和npm，除了以下几点，基本上是一致的（.npmrc配置文件）： 配置文件：yarn的配置文件名为.yarnrc，和npm一样，用户配置文件在~/.yarnrc，项目配置文件在项目根目录下； yarn设置缓存目录的ke
Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表
10-29
端口 作用 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-address 50100 dfs.namenode.backup.address 50105 dfs.namenode.backup.http-address 50090 dfs.namenode.secondary.http-address，如：172.25.39.166:50090 50091 dfs.namenode.secondary.https-address，如：172.25.39.166:50091 50020 dfs.datanode.ipc.address 50075 dfs.datanode.http.address 50475 dfs.datanode.https.address 50010 dfs.datanode.address，DataNode的数据传输端口 8480 dfs.journalnode.rpc-address 8481 dfs.journalnode.https-address 8032 yarn.resourcemanager.address
修改yarn默认端口
Student_xx的博客
12-03 1万+
1.改yarn默认端口的原因 为什么要修改yarn默认的端口的愿意是因为想yarn、redis这种8088和6379端口是近年来挖矿病毒的热门踩点端口，具体的可参考这篇文章： https://segmentfault.com/a/1190000015264170 2.修改端口 1）在~/app/hadoop/etc/hadoop/yarn-site.xml 文件中增加以下配置： 图上为什么配置的是这个参数呢？ 参数在官网https://hadoop.apache.org/docs/r2.10.1/hado
Yarn的默认端口(转载)
微电子学与固体电子学-俞驰
05-06 7871
转载自: https://docs.cloudera.com/HDPDocuments/HDP2/HDP-2.6.5/bk_reference/content/yarn-ports.html Table1.22.YARN Service Ports Service Servers Default Ports Used Protocol Description...
hadoop2 yarn 集群配置
prometheus的博客
08-24 1109
一、配置文件配置进入hadoop_home/etc/Hadoop目录二、配置core_site.xml<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://xxxx:8020</value> </property> <prop
分布式资源调度和任务监控平台yarn之--yarn的配置
weixin_45484707的博客
08-20 630
配置yarn（所有操作都在hadoop安装目录下进行；qi’dogn’zhi） 1、cd /opt/apps/hadoop-3.2.1/etc/hadoop/ 目录下有一个yarn-site.xml，打开编辑模式 2、yarn-site.xml中，增加编辑如下： ```java <configuration> <!-- Site specific YARN configuration properties --> <!-- resource,manager主节点所在机器
yarn集群模式配置（二）
zphyy1988的博客
01-30 686
# 配置集群各节点 vi yarn-site.xml &lt;configuration&gt; &lt;!-- Site specific YARN configuration properties --&gt; &lt;property&gt;         &lt;name&gt;yarn.nodemanager.aux-services&lt;/name&gt;       ...
hadoop之yarn
luo981695830的博客
01-26 4800
yarn介绍 yarn是Apache Hadoop YARN，hadoop中的组件，是英文简称，全程是Yet Another Resource Negotiator，另一种资源协调者，是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 hadoop进行资源管理和任务调度的是resourcemanager。后面会更新google三篇论文和yarn的演变过程 yarn的web界面..
Yarn配置详解：HDFS Federation与架构配置实战
"这篇文档详细介绍了YARN配置的相关知识，特别是与HDFS Federation和架构配置相关的部分。文中提到了HDFS-1052引入的多NameNode特性，以及如何在多台机器上搭建Hadoop集群，包括环境配置、软件安装和HDFS-site.xml的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值