为什么执行spark任务会在hadoop历史服务器上看到，而在spark8080端口页面和work文件夹下面看不到？

最新推荐文章于 2023-02-04 22:30:16 发布
最新推荐文章于 2023-02-04 22:30:16 发布
阅读量1.5k 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40998204/article/details/80492638
版权

通过oozie任务调度工具执行一个spark任务：

spark程序：


oozie任务：


程序成功执行了，但在8080端口页面看不到，在hadoop 19888历史服务器页面可以看到


这是怎么回事？

将上面那个spark程序打成jar包使用spark-sumbit --class 主类 .jar 提交可以在8080页面显示任务

m海阔天空
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
spark状态监控
q903319834的博客
03-22 1349
通过SPARK的8080端口获取SPARK集群状态以及应用运行情况一开始用postman得到的信息里，Applications一栏中，Running与Completed都为0，一开始查资料以为是只有通过spark-submit命令呈递的任务才会在applications列表中被记录，但是用含有spark-submit命令的任务测试了一下，依然没有记录。解决办法：配置history-server，在...
windows下flink 8081页面taskmanager无输出
u014657468的博客
09-04 1725
flink监控socket 6666端口，执行普通的wordcount程序 问题描述： 正常是下图的位置输出程序中要输出的东西 但是提交任务到8081页面后，所有输出都不在taskmanager中显示，而是显示在启动flink时弹出的java框内 解决 windows搭建flink，在cmd启动flink的时候，会弹出两个cmd框，使用jps查看新增的进程有： 3328 TaskManagerRunner 8800 StandaloneSessionClusterEntrypoint 由此可知，确实输出
解决为什么提交spark job 在web上没有进度
qq_33290422的博客
06-14 1834
在提交jar包上 执行spark-submit 后 在本地执行成功 但是在8088页面上无记录 解决办法：在程序上 去掉程序中的setMaster（"local"） 这条语句并不是在集群中提交job Fei joe 点击打开链接 val conf = new SparkConf().setAppName("Map").setMaster("local")
Spark 源码（5） - 从 SparkSubmit 开始看任务提交
天道酬勤
11-08 1421
一、SparkSubmit 提交 上次我们已经说完了 Spark Standalone 的 Master 和 Worker 的启动流程，本次我们从一个提交 Spark 作业的命令开始阅读 Spark 任务提交的源码。 在 Spark 客户端提交任务的流程是这样子的： ./bin/spark-submit --class org.apache.spark.examples.SparkPi \ --master local \ --deploy-mode cluster \ --driver-memory 4g
提交spark应用程序spark-submit
kylinJin的专栏
05-31 831
做好笔记，是对自己的工作的负责。 我一般就是把提交命令写到shell脚本里面去，类似如下： 这几个参数用过的人都看得懂，还是有几点要注意的： 关于executor-memory和cores，不要超出集群和每个单机的极限，8080（默认）界面能看到能使用的memory，cores等。 然后就是一个大小关系：SPARK_EXECUTOR_MEMORY 不然运行的时候可能出现这两
Hadoop和Spark中通过网页查看任务执行情况
qq_49044908的博客
04-12 4026
Hadoop和Spark中通过网页查看任务执行情况 HDFS文件系统 http://node1:9870 任务执行情况 http://node1:8088/ Spark-On-Yarn模式下,JobHistory的查看 JobHistory是用来记录已经运行完成的MapReduce作业日志信息 http://node1:19888/ Spark-On-Yarn模式下,History Server查看 historyserver用来记录作业的信息,包括已经运行完成的和正在运行的 http://node1
Spark在VM的hadoop架构基础上安装
03-01
1namenode，4datanodenamenode:compute-ndatanode:compute-0-1,compute-0-2,compute-0-3,compute-0-4安装的版本Linux版本JDKHadoop本人下载的是Spark-2.6.0和Scala2.11.6spark下载地址...下载地址...
还在为搭建集群的期末作业发愁吗？最简单的搭建hadoop+spark+hive大数据集群搭建文档.docx
最新发布
02-18
最简单的Hadoop+Spark大数据集群搭建方法，看这一篇就够啦，给出一个完全分布式hadoop+spark集群搭建完整文档，从环境准备（包括机器名，ip映射步骤，ssh免密，Java等）开始，包括zookeeper,hadoop,hive,spark，...
Spark是什么？Spark和Hadoop的区别
01-07
Spark 以其先进的设计理念，迅速成为社区的热门项目，围绕着 Spark 推出了 SparkSQL、SparkStreaming、MLlib 和 GraphX 等组件，逐渐形成大数据处理一站式解决平台。 Spark 与 Hadoop Hadoop 已经成了大数据技术的...
spark-3.2.1 不集成hadoop安装包
04-03
在标题"spark-3.2.1 不集成hadoop安装包"中，我们看到的是Spark的一个特定版本——3.2.1，而且特别强调了这个版本不包含Hadoop的集成。这意味着这个Spark发行版没有内置对Hadoop的支持，用户需要自己配置和管理与...
配置 spark 历史服务器
hj1993的博客
02-04 567
在没有退出之前, 我们是可以看到正在执行的任务的日志情况，一旦任务执行结束，web-ui就不能看到历史任务，需要额外配置历史服务器。
spark运行成功,8088web页面不显示活跃Application
1556630847的博客
12-07 2467
只需要把代码中的设置运行模式的部分去掉就可以了 setMaster("local")的作用是设置运行模式为本地模式,web可以看到分布式模式的任务,但是看不到本地模式的,去掉.setMaster("local")即可...
spark任务成功运行,但8088UI界面不显示Application
weixin_44455388的博客
09-18 5347
今天运行spark任务时，提交的任务成功地计算出了数据，但8088web界面始终不限application的信息。 起初以为是spark集群出了问题，于是进行了重启，但重启后问题依然没有解决。 于是返回到代码,发现测试完毕，mater没有删掉，删掉mater问题得到解决。 //获取sparkSession val sparkSession = SparkSession.builder().appN...
Apache Spark技术实战之6 -- spark-submit常见问题及其解决
www.hohode.com
03-19 548
http://m.blog.csdn.net/blog/javastart/44242671
关于hadoop无法正常打开8080端口的问题解决
m0_67401417的博客
03-29 2607
(在linux配置好域名映射和免密登录后进行) 主机1：fxb1 192.168.33.101 主机2：fxb2 192.168.33.102 主机3：fxb3 192.168.33.103 1、启动yarn集群 start-yarn.sh 发现jps可以正常启动，但是在web网页上却无法显示 2、进入hadoop配置文件 cd .opt/sxt/hadoop-2.6.5/etc/hadoop （根据实际情况而定，仅供参考） 修改yarn-size.sh vi yarn-size.sh 3、将修改好
Spark部署模式与作业提交
mxk4869的博客
07-18 377
Spark部署模式与作业提交
spark伪分布式搭建及spark页面8080端口访问出错的问题
热门推荐
sogn
12-28 2万+
伪分布式搭建其实很简单（spark集群搭建都很简单）1、首先到官网下载spark压缩包2、下载 命令行中使用：wget http://mirror.bit.edu.cn/apache/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz 3、解压 tar -zxvf spark-2.2.1-bin-hadoop2.7.tgz 4、修改配置文件
Hadoop概念学习系列之为什么hadoop/spark执行作业时，输出路径必须要不存在？（三十九）...
weixin_34044273的博客
11-23 103
　　很多人只会，但没深入体会和想为什么要这样？ 　　拿Hadoop来说，当然，spark也一样的道理。 　　输出路径由Hadoop自己创建，实际的结果文件遵守part-nnnn的约定。 　　如何指定一个已有目录作为Hadoop作业的输出路径，作业将无法进行，并会抛出异常抗议一个已经存在的目录。如果想让Hadoop将输出存储到一个目录，它必须是不存的目录。其实，我们可以把这个特点当做Hadoo...
Spark on Hadoop的重要性：M.C. Srivas在2014年Spark Summit的分享
Srivas在2014年Apache Spark Summit上的演讲，主题是“为什么Spark在Hadoop上很重要”。这次峰会在美国旧金山举行，吸引了众多Spark、Shark、Spark流媒体及相关项目的用户，共同讨论Spark项目的发展趋势以及在各种...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值