Spark on YARN 时找不到YARN地址的解决办法

最新推荐文章于 2024-03-29 19:39:23 发布
最新推荐文章于 2024-03-29 19:39:23 发布
阅读量1.1k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43777983/article/details/104874144
版权

启动Spark-Shell --master Yarn 时，spark会出现连接不到Yarn的情况，是因为spark找不到yarn的配置，解决办法除了要配置正确的HADOOP_CONF_DIR参数之外，还要在Hadoop目录下的etc/yarn.site.xml文件中添加如下配置，spark可以根据主机名找到yarn部署的ip地址而连接到yarn

<property>
	<name>yarn.resourcemanager.hostname</name>
    <value>Server1</value>
</property>

连接成功后会在yarn部署的服务器默认端口号为8088的url上访问到spark

「已注销」
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark-examples:探索 Spark 的示例
06-29
spark-examples Anagrams、BigramAnalysis、Inverted index、vihicle 使用在这一点上是稳定的，所有其他类都是 WIP。 一些示例依赖于本地文件，我将修复这些输入路径。 为了从本地机器运行示例，请确保您的路径中有 spark 可用。 如果您想在集群上运行代码，请将您的节点配置为集群的边缘节点，方法是将 Hadoop 配置复制到您的机器上，并将 HADOOP_CONF_DIR 设置为配置所在的目录。 集群上的 Spark shell 可以通过， spark-shell --master yarn 启动 要在集群上运行您的代码，您需要首先通过执行 sbt assembly 创建一个 fat jar 从 jar 运行作业： spark-submit --class classToRun --master masterCanBeLocal
【spark床头书系列】如何在YARN上启动Spark官网权威详解说明
wang2leee的博客
10-10 332
在YARN上可以使用两种部署模式来启动Spark应用程序。在 `cluster` 模式下，Spark driver 在由YARN在集群上管理的应用程序主进程中运行，客户端在启动应用程序后可以退出。在 `client` 模式下，driver 在客户端进程中运行，应用程序主进程仅用于从YARN请求资源
【收藏】spark 连接到yarn resourcemanager失败解决方案
学亮编程手记
09-28 549
https://spark.apache.org/docs/latest/running-on-yarn.html Spark2.3（四十）：如何使用java通过yarn api调度spark app，并根据appId监控任务，关闭任务，获取任务日志: https://www.cnblogs.com/yy3b2007com/p/10247239.html hadoop:连接到resourcemanager失败: http://www.saoniuhuo.com/question/detail-1930531
启动spark-shell遇到的一些问题
记录
04-12 4965
执行：spark-shell 1、报When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in th environmwnt 原因是没有配置之前在/etc/profile下配置了hadoop的环境变量，但是没有配置HADOOP_CONF_DIR 解决办法： vim /U...
spark的yarn集群运行问题集锦
tamir随笔
07-29 1689
环境：spark是2.1.1，hadoop是2.6.0 1. 对于yarn集群提交方式conf.setMaster("spark://master:7077")不是必须设置的。 2. spark yarn提交命令，网上说的那些很多是基于spark standalone或者local方式的提交，具体也可参考官网http://spark.apache.org/docs/2.1.1/running-...
跑spark的yarn模式时RM连不上的情况
yuanlaishidahuaa的博客
03-29 342
在linux控制台跑spark on yarn一个测试案例，日志中总显示RM连yarn服务的时候是：0.0.0.0:8032。3.安有yarn服务器的那台节点的/etc/hostname文件中，没配hadoop103。/etc/hadoop 没写对，这个很关键，报错就是因为这。2.spark-env.sh这个文件的。1.防火墙没关闭，关闭。这3个都没问题了，再跑。
Spark on Yarn遇到的几个问题及解决思路
热门推荐
guohecang的博客
10-09 1万+
Spark on Yarn模式，其资源分配是交给Yarn的ResourceManager来进行管理的，但是目前的Spark版本，Application日志的查看，只能通过Yarn的yarn logs命令实现。
Spark系列-5、Spark的部署方式之Spark on YARN
不积跬步无以至千里，不积小流无以成江河
05-31 882
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 大数据系列文章目录 官方网址：http://spark.apache.org/、https://databricks.com/spark/about 目录前言属性配置设置环境变量历史服务MRHistoryServer地址历史服务HistoryServer地址配置依赖Spark Jar包YARN 资源检查启动服务提交应用结束 前言 将Spark Application提交运行到YARN集群上，至关重要，
hadoop（3）——yarn查看方式
weixin_48445640的博客
10-07 2000
yarn是来实现调度的，实现了mapreduce的解耦 jps命令可以查看是否启动了yarn 我们还可以通过访问ip地址：8088端口访问可视化界面，如下：
CDH平台YARN日志查看和问题排查
weixin_43497829的博客
02-20 6509
1.查看YARN中作业的web端口 方式一： 通过ResourceManagerWeb UI 查看日志：( 这种方式可以查看当前正在执行以及历史所有任务） 1.1 先找到 YARN ResourceManager 角色所在服务器的IP地址，可通过如下图方式进行查看。 CM操作路径：集群-YARN-实例-ResourceManage角色-主机。 1.2 然后查找端口， 通过查找yarn-site配置项 yarn.resourcemanger.webapp.address 的值，默认是8088.
Spark实验：On Yarn模式安装部署（带答案）1
08-03
1. 解压Spark安装包 2. 配置Hadoop生态组件相关环境变量 2. 在 master 节点上，关闭HDFS的安全模式： 3. 在 master 节点上
Spark源码系列（七）Sparkonyarn具体实现
01-30
本来不打算写的了，但是真的是闲来无事，整天看美剧也没啥意思。这一章打算讲一下Spark onyarn的实现，1.0.0里面...在第一章《spark-submit提交作业过程》的时候，我们讲过Sparkonyarn的在cluster模式下它的main clas
Spark环境搭建——on yarn集群模式
01-07
本篇博客，Alice为大家带来关于...注意：不需要集群，因为把Spark程序提交给YARN运行本质上是把字节码给YARN集群上的JVM运行，但是得有一个东西帮我去把任务提交上个YARN，所以需要一个单机版的Spark，里面的有spark-sh
Spark on Yarn集群搭建手册
08-29
Spark on Yan集群搭建的详细过程，减少集群搭建的时间
Spark的Yarn模式
01-20
Spark基础理论： https://blog.csdn.net/weixin_45102492/article/details/104318250 Spark安装及Local模式：...Spark客户端直接连接Yarn，不需要额外构建Spark集群。有yarn-client和yarn-clus
行政数据分析看板8.xlsx
04-26
Excel数据看板，Excel办公模板，Excel模板下载，Excel数据统计，数据展示
自动驾驶运动规划(Motion Planning).pdf
04-26
自动驾驶运动规划(Motion Planning)问题分析
跟我一起写makefile
最新发布
04-26
跟我一起写makefile的PDF，学习用。
AI 技术落地有望强化客户运 营.pdf
04-26
AI 技术落地有望强化客户运 营.pdf
spark on yarn
07-27
在使用Spark on YARN时，可以使用以下命令提交作业： ``` ./spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi ../lib/spark-examples-xx.jar 100 ``` 这个命令将以YARN...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值