spark 配置historyserver进程 报错：failed to launch org.apache.spark.deploy.history.HistoryServer

最新推荐文章于 2023-09-18 17:15:51 发布
最新推荐文章于 2023-09-18 17:15:51 发布
阅读量2k 收藏 2
点赞数 4
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IT_NEU_Lee/article/details/89314362
版权

查看日志  发现是Exception in thread "main" java.lang.reflect.InvocationTargetException   然后后面还有fail on connection   

这个大概是接口防火墙错误了  我检查之后  端口没有被占用    ，防火墙也关闭了   那怎么回事呢？

后来才发现，因为我配置historyserver的存储目录是hdfs://root:8020 /xxxx     而我的hadoop的core-site.xml的defaultFS配置的是9000，因为两个存储端口不匹配造成的问题     改成相同的就ok了

IT_NEU_Lee
关注
  • 4
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Spark： history Server
九师兄
08-03 3744
Spark History Server配置使用 1。Spark history Server产生背景以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Applic
Spark History Server配置使用
weixin_33696106的博客
09-19 556
Spark history Server产生背景 以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Application的历史记录； Spark histor...
spark 配置historyserver进程 报错 org.apache.spark.deploy.history.HistoryServer
P_rivate的博客
03-06 2617
报错 查看日志文件发现 原因是因为 我们这里 配置的存储目录 和hadoop的core-site.xml的defaultFS配置 不匹配造成的，修改成相同就可以了
启动spark时出现：failed to launch org.apache.spark.deploy.worker.Worker:
海边看花开的博客
03-08 3942
[root@master spark-1.6.0-bin-hadoop2.6]# ./sbin/start-all.sh starting org.apache.spark.deploy.master.Master, logging to /usr/local/src/spark-1.6.0-bin-hadoop2.6/logs/spark-root-org.apache.spark.deploy...
spark failed to launch: nice -n 0 spark-2.4.3-bin-hadoop2.6/bin/spark-class org.apache.spark.dep
达达的博客
02-04 956
错误原因 failed to launch: nice -n 0 /data/app/spark-2.4.3-bin-hadoop2.6/bin/spark-class org.apache.spark.deploy.history.HistoryServer 在开启spark 历史任务时，报了以上的错。 解决方式 是因为spark-defaults.conf spark-env.sh 在配置日志存放地址的hdfs目录时端口使用了9000 与我们hadoop下配置的hdfs目录不同，改成一样的即可。 .
VSCode launch.json配置详细教程.zip
05-07
在进行调试工作时，`launch.json` 文件是VSCode中的关键配置文件，它定义了如何启动调试会话，特别是对于Node.js应用程序来说。本教程将深入讲解如何配置`launch.json`，以便在VSCode中高效地调试Node.js项目。 `...
VSCode launch.json配置详细教程
10-15
VSCode中的调试功能强大而灵活，可以通过编辑launch.json文件来自定义调试配置，以便更好地适配不同的调试场景。 launch.json文件是VSCode中用于配置调试环境的文件，它位于项目的“.vscode”目录下。该文件定义了...
vscode 的node.js debugger 的 launch.json 配置详细教程.zip
09-07
这篇教程将深入讲解如何配置VSCode的`launch.json`文件，以充分利用Node.js调试器。 `launch.json`文件是VSCode调试配置的核心，它定义了调试会话的启动参数和行为。在VSCode中，你可以创建多个配置，以适应不同的...
org.apache.tools.*需要的ant.jar包
11-06
标题中的"org.apache.tools.*需要的ant.jar包"指的是Apache Ant的核心库，这个库包含了`org.apache.tools`包下的一系列类和接口，它们是Ant运行时不可或缺的部分。在Java项目中，如果你需要通过代码来调用Ant进行...
启动spark历史服务失败问题处理
最新发布
泊涯
09-18 817
启动spark历史服务失败问题处理
spark history server 本地路径
merrily01的博客
06-09 797
本地启spark history server，spark.history.fs.logDirectory除了可以设置为hdfs远程目录外，还可以设置为本地路径，如： ./start-history-server.sh file:///home/te/maruilei/scripts/logs/tmp_log/
一次有关资源的问题导致spark core报错问题解决
小数据员
03-04 1146
最近有个朋友搭建了一套cdh集群并且运行spark任务，发现数据量不大（低于10G）的时候没问题，数据量太大就报错了，希望我能帮助他解决问题。 看到这个现象我第一反应要么是资源不够要么是新的数据有异常导致的，定位问题就必须跟踪日志，所以任务重新启动，开始跟踪日志，发现第一个错误：RECEIVED SIGNAL TERM 看到这个错误我也没什么感觉，但是我看到这个error的上面一直在跟yarn...
Spark常见报错与问题解决方法
书忆江南的IT博客
04-21 4万+
1.org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow 原因：kryo序列化缓存空间不足。 解决方法：增加参数，--confspark.kryoserializer.buffer.max=2047m。 2.org.elasticsearch.hadoop.rest.EsHadoopNoN...
Spark程序运行常见错误解决方法以及优化
AcceptedLin的博客
08-19 4282
Spark程序运行常见错误解决方法及优化 一.org.apache.spark.shuffle.FetchFailedException 1.问题描述 这种问题一般发生在有大量shuffle操作的时候,task不断的failed,然后又重执行，一直循环下去，非常的耗时。 2.报错提示 (1) missing output loc...
spark worker 启动失败 failed to launch org.apache.spark.deploy.worker.Worker
hzdxw的专栏
06-18 1万+
failed to launch org.apache.spark.deploy.worker.Worker
Spark history-server详解
05-21 1万+
概述 这里作者和大家一起学习Spark 中的history-server，那他到底是什么呢？该如何去学习呢？ 我们可以带着下面几个问题进行详细的学习于思考： 1. history-server产生背景 2. history-server的作用 3. 如何配置和使用 4. history-server重要参数 5. sc.stop的重要性 6. REST API 1 histor...
spark2.0 history server 内存溢出解决
houzhizhen的专栏
12-20 3095
从下面命令构建类可以看到，如果你想增加history server的内存，只能设置SPARK_DAEMON_MEMORY。 在SPARK_HISTORY_OPTS里设置 "-Xmx"不起作用。 class SparkClassCommandBuilder extends AbstractCommandBuilder { private final String className;
关于Spark报错不能连接到Server的解决办法（Failed to connect to master master_hostname:7077）
热门推荐
ybdesire的专栏
04-24 7万+
如何彻底解决 Failed to connect to master master_hostname:7077
Spark常见问题汇总
aiwode1234的专栏
05-16 1145
注意：如果Driver写好了代码，eclipse或者程序上传后，没有开始处理数据，或者快速结束任务，也没有在控制台中打印错误，那么请进入spark的web页面，查看一下你的任务，找到每个分区日志的stderr，查看是否有错误，一般情况下一旦驱动提交了，报错的情况只能在任务日志里面查看是否有错误情况了1、Operation category READ is not supported in state
INFO Client:54 - client token: N/A diagnostics: Application application_1686359558924_0001 failed 2 times due to AM Container for appattempt_1686359558924_0001_000002 exited with exitCode: 13 For more detailed output, check application tracking page:http://spark01:8088/cluster/app/application_1686359558924_0001Then, click on links to logs of each attempt. Diagnostics: Exception from container-launch. Container id: container_e01_1686359558924_0001_02_000001 Exit code: 13 Stack trace: ExitCodeException exitCode=13: at org.apache.hadoop.util.Shell.runCommand(Shell.java:585) at org.apache.hadoop.util.Shell.run(Shell.java:482) at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:776) at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:212) at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302) at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748) Container exited with a non-zero exit code 13 Failing this attempt. Failing the application. ApplicationMaster host: N/A ApplicationMaster RPC port: -1 queue: default start time: 1686359786278 final status: FAILED tracking URL: http://spark01:8088/cluster/app/application_1686359558924_0001 user: root Exception in thread "main" org.apache.spark.SparkException: Application application_1686359558924_0001 finished with failed status at org.apache.spark.deploy.yarn.Client.run(Client.scala:1165) at org.apache.spark.deploy.yarn.YarnClusterApplication.start(Client.scala:1520) at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:894) at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:198) at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:228) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:137) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 2023-06-10 09:20:01 INFO ShutdownHookManager:54 - Shutdown hook called 2023-06-10 09:20:01 INFO ShutdownHookManager:54 - Deleting directory /tmp/spark-7a611aba-e3f1-4ee9-9829-f1bc45c9348d 2023-06-10 09:20:01 INFO ShutdownHookManager:54 - Deleting directory /tmp/spark-b69c8ca8-924f-430e-9a7c-625efd9e9f47
06-11
这个错误信息是关于Spark应用程序在YARN上启动时出现的问题。它表明应用程序的某个尝试失败了，退出代码为13，导致应用程序最终失败。具体原因需要进一步分析应用程序代码和YARN日志信息。可能的原因包括资源不足、...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值