Spark>提交Yarn集群报错异常

最新推荐文章于 2023-01-27 21:58:52 发布
最新推荐文章于 2023-01-27 21:58:52 发布
阅读量793 收藏 4
点赞数 1
分类专栏： Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44509920/article/details/105454355
版权
本文主要介绍了在整合Spark与Yarn集群过程中遇到的日志查看问题及解决步骤，包括配置历史日志服务器、解决依赖Jar包过多的问题，以及针对提交jar包时的异常报错分析和解决策略，如检查jar包打包是否包含中文路径。
摘要由CSDN通过智能技术生成

文章目录

如果整合Yarn报错或无法查看log需做如下操作

  • 1.修改hadoop的yarn-site.xml
    vim /export/servers/hadoop/etc/hadoop/yarn-site.xml
 <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>node01</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
<!-- 关闭YARN内存检查 -->
	<property>
                <name>yarn.nodemanager.pmem-check-enabled</name>
                 <value>false</value>
        </property>
        <property>
                    <name>yarn.nodemanager.vmem-check-enabled</name>
                    <value>false<
最低0.47元/天 解锁文章
BigMoM1573
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
springboot整合spark连接远程服务计算框架使用standAlone模式
08-15
这是Spark自带的一种资源管理器，可以独立于其他集群管理器（如YARN或Mesos）运行。在Standalone模式下，每个节点都既是worker又是driver，可以处理任务并调度其他节点的任务。这种方式简单易用，适合小型或中型规模...
记Spark on Yarn集群错误汇总
Therefore的专栏
06-29 5346
我们经常使用Sparkonyarn的模式进行开发和任务调度，但是常常会出现各种错误。 本文将这些问题汇总并提出解决： 先贴一个spark提交任务到yarn的脚本： 1、spark找不到main类： 20/06/29 09:24:21 ERROR yarn.ApplicationMaster: Uncaught exception: java.lang.ClassNotFoundException: src/main/scala/log_anal...
Spark提交任务到yarn 报错提示虚拟内存不足解决办法
最新发布
qq_32118757的博客
01-27 975
Spark提交任务到yarn 报错提示虚拟内存不足解决办法
解决spark任务Futures timed out after...问题
热门推荐
KevinChao888的博客
09-23 1万+
一、问题 19/09/23 19:10:49 ERROR ApplicationMaster: Uncaught exception: java.util.concurrent.TimeoutException: Futures timed out after [100000 milliseconds] at scala.concurrent.impl.Promise$Defa...
spark 提交至yarn异常超时 Client cannot authenticate via:[TOKEN, KERBEROS]
jast
08-07 1万+
spark-cluster提交任务，提示 exit code :10 异常，具体需要到容器日志中去查看 19/08/07 18:09:24 INFO yarn.Client: client token: N/A diagnostics: Application application_1565171057576_0008 failed 2 times due to AM Conta...
SparkSubmit提交任务到yarn及报错解决方案
刘大猫
01-12 2798
一、提交任务代码 @Override public Response submitApplication(String[] args) throws IOException, InterruptedException { log.info("spark任务传入参数args:{}", args); args[0] = args[0].replace("}}", "} }").replace("{{", "{ {"); SparkLauncher ha.
Spark笔记1
08-08
`，这通常意味着应用程序已经在YARN集群中完成运行或出现了异常情况。针对此类问题，需要检查Spark应用程序本身是否存在问题，或者查看YARN集群的状态。 综上所述，本文从Spark与Hadoop集群集成、Spark环境搭建注意...
Spark简介以及其生态圈
03-16
在不同集群中的运行演示部分，通常会展示如何在Standalone和YARN模式下启动Spark-Shell，如何提交Spark应用程序，并通过具体案例来分析运行结果。同时，在问题解决部分，会针对可能遇到的问题，如YARN-CLIENT启动...
Spark常见故障排查1
08-04
对于这类问题，可以通过减少Driver与Executor之间的交互，例如通过合理设计任务逻辑，减少不必要的数据传输，或者调整Spark运行模式，如使用YARN-cluster模式，将Driver运行在集群中，减轻本地机器的压力。...
【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
01-07
前言报错信息异常分析配置改动后记 前言 在成功消除Cloudare管理界面上那些可恶的警告之后，我又对yarn的一些参数进行调优，最后重启了集群。当我提个任务（spark on yarn）并且看到并发及资源的分配情况正如自己...
maven打包插件
allure
10-24 215
maven打包插件 <build> <pluginManagement> <plugins> <!-- 编译scala的插件 --> <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-ma...
搭建Spark on Yarn集群碰到的那些坑
weixin_43620695的博客
06-27 603
希望我填过的坑能让您不用那么坑
【原创】大叔经验分享（46）用户提交任务到yarn报错
weixin_30609287的博客
03-30 469
用户提交任务到yarn时有可能遇到下面的错误： 1） Requested user anything is not whitelisted and has id 980,which is below the minimum allowed 1000 这是因为yarn中配置min.user.id=1000，yarn认为id小于1000的是超级用户，yarn禁止超级用户提交任务； Ea...
Yarn启用HA后，删除定义的配置参数，如：yarn.resourcemanager.hostname
周源的专栏
03-26 3244
Yarn启用HA后，由于yarn.resourcemanager.hostname导致spark提交运行不了，但ambari界面无法删除配置参数。手动删除办法：（1）Ambari Web界面停止YARN和Zookeeper；（2）在Ambari Server主机上调用如下API，获取yarn-site.json文件/var/lib/ambari-server/resources/scripts/c...
yarn 提交任务报错
二十世纪少年的博客
11-07 1595
刚搭的集群，提交flink任务报错INFO org.apache.flink.yarn.YarnClusterDescriptor [] - Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster。在/etc/hosts中把每台服务器的地址和别名加进去。没有修改hosts文件。
spark报错ERROR yarn.ApplicationMaster:
weixin_41290471的博客
06-19 4025
报错如下： 原因：代码里设置的master与yarn提交冲突 解决方式：把本地测试配置master的local[ n ] 注掉 ```java ERROR yarn.ApplicationMaster: Uncaught exception: java.util.concurrent.TimeoutException: Futures timed out after [100000 milliseconds] at scala.concurrent.impl.Promise$DefaultPromis
Spark应用提交后一直不运行：hadoop-yarn ACCEPTED: waiting for AM container to be allocated, launched and registe
甘蓝的专栏
07-25 1140
记录一次Spark应用提交后一直无法运行的问题
ERROR yarn.ApplicationMaster: Promise already completed.（基于spark将数据load到hive外部表时遇到的错误）
西柚大数据
10-31 1992
Traceback (most recent call last): File "local_etl_hive.py", line 20, in &lt;module&gt; .config('spark.debug.maxToStringFields', '100')\ File "/opt/cloudera/parcels/SPARK2-2.3.0.cloudera3-1....
spark在yarn-cluster模式下运行任务报错
chbxw
09-11 3726
spark在yarn-cluster模式下运行任务报错 不指定任何参数， 运行正常 spark-submit --master yarn-cluster --class com.chb.test.tongji.Test test.jar /apps/spark/source/ 00 当指定executor的配置，运行失败 spark-submit --master yarn --...
Spark on Yarn分布式集群搭建教程详解
本文档详细介绍了Spark On Yarn在完全分布式集群环境中的搭建过程，适用于大数据处理场景。整个搭建分为五个关键步骤： 1. **环境准备** - 软件和版本选择：文档推荐使用Java JDK 8u211、Scala 2.12.11、Zookeeper...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值