记录一次错误开启spark开启历史服务的错误

最新推荐文章于 2024-05-08 15:06:05 发布
最新推荐文章于 2024-05-08 15:06:05 发布
阅读量985 收藏
点赞数 2
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Obscurede/article/details/127501900
版权

Spark 历史服务器 Hadoop 启动失败 依赖
关键词由CSDN通过智能技术生成

sbin/start-history-server.sh

starting org.apache.spark.deploy.history.HistoryServer, logging to /opt/software/spark-standalone/logs/spark-atguigu-org.apache.spark.deploy.history.HistoryServer-1-hadoop102.out
failed to launch: nice -n 0 /opt/software/spark-standalone/bin/spark-class org.apache.spark.deploy.history.HistoryServer

由于spark上的历史服务是存储在hadoop上的，所以呃，没有开启hadoop就没法存储历史服务！！！so去把hadoop开开就行了

Kermit2024
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Spark】Spark Application 监控，HistoryServer历史服务器配置使用
晚风中的自由
11-23 823
一、增加配置 1、spark-1.3.0-bin-2.5.0-cdh5.3.6/conf 目录下spark-env.sh文件修改； 设置log文件放在 hdfs目录/user/spark/eventlogs SPARK_HISTORY_OPTS=-Dspark.history.fs.logDirectory=hdfs://hadoop-senior.ibeifeng.com:8020...
Spark深入解析（八）：Spark整合YARN报错或无法查看日志
wzc8961661的博客
04-26 4392
目录如果整合Yarn报错或无法查看log需做如下操作如果要整合YARN历史服务器和Spark历史服务器，则还需要如下操作配置历史日志服务器本地调试 如果整合Yarn报错或无法查看log需做如下操作 1.修改hadoop的yarn-site.xml vim /export/servers/hadoop/etc/hadoop/yarn-site.xml <property>...
启动spark历史服务失败问题处理
泊涯
09-18 828
启动spark历史服务失败问题处理
0017-Spark的HistoryServer不能查看到所有历史作业分析
Hadoop_SC的博客
11-19 1020
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1.问题描述 Spark的HistoryServer能正常查看之前的历史作业日志，但新提交的作业在执行完成后未能在HistoryServer页面查看。 2.问题复现 1.分别使用root和ec2-user用户执行作业 2.通过sparkHistory Server可以正常查看到所有历史作业 3.将/user/spark/app...
Spark history server 问题
weixin_30455365的博客
12-03 190
参考资料： https://www.cnblogs.com/xiashiwendao/p/8639258.html https://blog.csdn.net/simple_the_best/article/details/75434677?locationNum=6&fps=1 转载于:https://www.cnblogs.com/o-din/p/10061453.html...
spark 配置historyserver进程 报错 org.apache.spark.deploy.history.HistoryServer
P_rivate的博客
03-06 2653
报错 查看日志文件发现 原因是因为 我们这里 配置的存储目录 和hadoop的core-site.xml的defaultFS配置 不匹配造成的，修改成相同就可以了
Spark history server 遇到的一些问题
weixin_30640291的博客
11-05 856
最近学习Spark，看了一个视频，里面有提到启动spark后，一般都会启动Spark History Server。视频里把 spark.history.fs.logDirectory 设置成了Hadoop上一个目录。配置的是hdfs://ubuntu1:9000/spark 啥的。我原来搭建的Hadoop是HA的，肯定不能这么写。我心血来潮，把hadoop HA改回了集群模式。这...
spark failed to launch: nice -n 0 spark-2.4.3-bin-hadoop2.6/bin/spark-class org.apache.spark.dep
达达的博客
02-04 973
错误原因 failed to launch: nice -n 0 /data/app/spark-2.4.3-bin-hadoop2.6/bin/spark-class org.apache.spark.deploy.history.HistoryServer 在开启spark 历史任务时，报了以上的错。 解决方式 是因为spark-defaults.conf spark-env.sh 在配置日志存放地址的hdfs目录时端口使用了9000 与我们hadoop下配置的hdfs目录不同，改成一样的即可。 .
SparkCore：History-Server/监控，查看程序历史运行日志
11号车厢
08-04 1004
文章目录1、History-Server介绍2、History-Server配置3、验证4、History-Server参数5、REST API 官网：Monitoring and Instrumentation http://spark.apache.org/docs/2.4.2/monitoring.html 1、History-Server介绍 当你执行spark-shell --maste...
【spark床头书系列】如何在YARN上启动Spark官网权威详解说明
wang2leee的博客
10-10 389
在YARN上可以使用两种部署模式来启动Spark应用程序。在 `cluster` 模式下，Spark driver 在由YARN在集群上管理的应用程序主进程中运行，客户端在启动应用程序后可以退出。在 `client` 模式下，driver 在客户端进程中运行，应用程序主进程仅用于从YARN请求资源
spark-2.1.0-bin-without-hadoop
10-26
上传大小限制了，分为两段，part2去我的资源中找一下。
Spark-3.0.0 重点归纳
m0_67991849的博客
06-23 1410
spark重点归纳
Spark History Server配置使用
weixin_33696106的博客
09-19 558
Spark history Server产生背景 以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Application的历史记录； Spark histor...
spark history server异常
mrye的博客
05-08 226
现象：spark 日志文件突然新增了很多.hprof文件，发现是history Server服务一直启动oom异常。定位配置参数发现spark历史任务日志太多，一直没清理。
关于Spark On Yarn模式启动历史服务（HistoryServer进程）失败
qq_52780611的博客
03-17 6440
关于spark的历史服务history-server进程无法打开
spark历史服务器配置（standalone）
破晓的成长之路
10-26 443
1、修改conf/spark-default.conf文件(mv spark-defaults.conf.template spark-defaults.conf)如下 #open the log services spark.eventLog.enabled true #set the work directory of log server spark.eventLog.d...
配置spark历史服务(spark二)
dingxiaohuang4790的博客
09-17 438
1. 编辑spark-defaults.conf位置文件 添加spark.eventLog.enabled和spark.eventLog.dir的配置修改spark.eventLog.dir为我们之前在hdfs配置的端口hdfs配置参考hadoop(七)集群配置同步（hadoop完全分布式四）|9 [shaozhiqi@hadoop102 conf]$ pwd /opt/modul...
spark的历史服务器配置
qq_45292079的博客
12-30 374
spark2.4.4、hadoop3.4.4
Spark history-server详解
热门推荐
05-21 1万+
概述 这里作者和大家一起学习Spark 中的history-server，那他到底是什么呢？该如何去学习呢？ 我们可以带着下面几个问题进行详细的学习于思考： 1. history-server产生背景 2. history-server的作用 3. 如何配置和使用 4. history-server重要参数 5. sc.stop的重要性 6. REST API 1 histor...
spark初始化历史服务
最新发布
07-20
Spark的历史服务主要是指Spark Streaming和Structured Streaming中的checkpointing功能，它是一个机制用于定期保存运行作业的状态，以便在发生故障时能够快速恢复。当Spark Streaming作业启动时，如果配置了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值