Spark HistoryServer Web UI 上的时间显示错误

最新推荐文章于 2023-03-31 16:48:57 发布
最新推荐文章于 2023-03-31 16:48:57 发布
阅读量320 收藏
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sx_1706/article/details/120892029
版权

在使用 spark 历史服务器时，开始和结束时间会与实际时间不同。其他地方显示都正常。
原因：历史服务器获取的是标准时间GMT.北京时间位于东八区，会相差8小时。
个人理解：时区的获取由硬件操作，只能获取到GMT，改成北京时间需要修改对应的偏移量（重新编译源代码）
解决如下：
https://github.com/apache/spark/pull/16485/files

个人建议：凑合用吧。只要记住时差就好了。

参考：
spark官方补丁
Spark History Server Web UI 上的时间显示错误

sx_1706
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark时区问题
yy的博客
05-15 3781
spark时区问题:time zone: python写入带有字符类型时间字段的值;上传hadoop之后使用spark读取发现时间被 +8h; 解决方法: 代码顶部添加一行: spark.conf.set("spark.sql.session.timeZone", "UTC") 转载:https://stackoverflow.com/questions/49644232/apache-spark-how-to-set-timezone-to-utc-currently-defaulted-t
Spark性能调优
02-26
摘要：通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要...2.historyserver当
linux系统时区问题 导致Spark Streaming 获取时间错误解决办法
SpartacusG的专栏
10-23 586
问题现象： 当前服务器都设置了时间同步，date命令查看服务器的时间是对的，但是通过java获取当前系统时间，时间是晚8小时。 解决办法： 1、验证java读取本地系统时间是否正确。 vim NowString.java import java.text.SimpleDateFormat; public class NowString { public static void main(...
spark时间和linux时间不同步,Apache Spark 2.0 在作业完成时却花费很长时间结束
weixin_29391747的博客
05-13 196
现象大家在使用 ApacheSpark2.x 的时候可能会遇到这种现象：虽然我们的SparkJobs 已经全部完成了，但是我们的程序却还在执行。比如我们使用SparkSQL 去执行一些 SQL，这个 SQL 在最后生成了大量的文件。然后我们可以看到，这个 SQL 所有的 Spark Jobs 其实已经运行完成了，但是这个查询语句还在运行。通过日志，我们可以看到 driver 节点正在一...
Bug 5880921 V$SYSMETRIC_HISTORY 的时间错乱
weixin_30325971的博客
08-19 228
V$SYSMETRIC_HISTORY 的时间错乱. 起初用了下 select end_time, value from sys.v_$sysmetric_history where metric_name = 'Database CPU Time Ratio' order by 1; 想查看下CPU时间比率,却发现 ...
docker+jenkins的构建历史记录(Build History)时间不正确
weixin_30414245的博客
01-11 535
1、分别查看宿主机时间和容器时间 宿主机时间 root@fcaad17f146a:/# date Fri Jan 11 14:17:53 CST 2019 容器时间 [root@001 ~]# docker exec -ti 87986863838b /bin/bash root@fcaad17f146a:/# date ...
Spark生产优化总结
04-27
Spark Web-UI 是一个非常有用的工具，可以查看任务的情况，设置 spark.eventLog.enabled 为 true 可以查看历史日志，运行的任务中，显示了 stage 的数据当前运行的 stage 输入和输出的数据量大小、shuffle 文件大小...
spark-2.41-hadoop2.6
04-22
7. 集成工具：Spark提供了一系列工具，如SparkSubmit用于提交应用，Spark History Server用于查看应用历史，以及Spark Web UI用于监控应用状态。 在下载并解压"spark-2.4.1-bin-hadoop2.6"压缩包后，用户通常会找到...
spark单节点调优
08-20
Spark提供了多个Web界面用于监控系统状态，包括： - Master节点的UI (http://masterIP:8080)：显示集群概览和应用列表。 - Application UI (http://masterIP:4040)：针对特定应用，展示任务执行详情。 - History...
java提交spark任务到yarn平台的配置讲解共9页
11-21
2. Spark History Server：启用Spark History Server，可以查看Spark作业的历史记录和日志。 六、优化技巧 1. 参数调优：根据集群资源和任务需求调整executor的数量、内存和CPU等参数。 2. 数据源和持久化：合理...
history设置时间戳
weixin_34115824的博客
06-09 261
　　Linux查看历史命令，很关键！history,默认没有时间戳。。。 01、设置系统环境变量 echo 'export HISTTIMEFORMAT="%F %T  `whoami` "' >> /etc/profile && source /etc/profile 02、时间参数解析 1.history的历史命令保存在~/.bash_history 文件中...
spark运行在linux,怎么统计SparkStreaming在数据上的运行时间（linux没有图形界面）...
weixin_35193131的博客
04-30 216
下面是一个例子scala 统计Datastage log 中每个job 的执行时间 以及一个batch job 中total 时间[mw_shl_code=scala,true]package com.x.himport java.io.Fileimport scala.io.Source/*** Created by xxxxx on 3/7/2017.* read logs and anlys...
linux history 时间 ip,Linux 配置 history 命令显示操作时间、用户和登录 IP
weixin_36488760的博客
05-03 282
摘要：history是一个很重要的命令，它能显示出之前在shell中执行过的命令，如果服务器发生异常，可以从这些命令中分析造成问题的原因。但是history显示的信息有局限性，默认保存最...history是一个很重要的命令，它能显示出之前在shell中执行过的命令，如果服务器发生异常，可以从这些命令中分析造成问题的原因。但是history显示的信息有局限性，默认保存最近的1000条命令，从历史信...
初学SparkStreaming会遇到的时间坑
qq_43510893的博客
03-26 310
具体的问题是win上的时间与linux上的时间，包括时区不一致导致hdfs上的文件Streaming无法读入 解决方法
如何显示history命令的执行时间
千纸鹤的天空
06-14 608
只要编辑      export HISTTIMEFORMAT="%Y-%m-%d %H:%M:%S  "
linux时间错乱
qq_32936067的博客
03-20 1003
前一段时间搭建了一个linux虚拟机，这几天没有事想在看看linux的知识，但是在敲date的时候发现时间不对，所以记录下解决的方法。 1、问题描述： 2、查看系统时区 输出：Fri， 23 Nec 2016 07:32:16 +0800  时区为 8 3、确保网络通畅，DNS正常解析，尝试同步互联网时间 4、查看系统时区配置文件 5、查看本地系统时区配
启动CDH遇到的时钟不同步问题
m0_71519623的博客
03-31 1508
CDH服务器意外关闭以后，在重启CDH的几台服务器时，出现了时钟偏差问题。查看NTP状态，查看NTP进程，启动NTP服务，重启agent，重启CDH组件
关于history命令无法记录时间的问题及解决方法
weixin_34293246的博客
08-08 545
2019独角兽企业重金招聘Python工程师标准>>> ...
没有在spark的 webUI上找到 Metrics
最新发布
05-26
如果你在 Spark Web UI 上没有找到 Metrics，可能是因为 Spark 配置中没有启用它们。你可以在启动 Spark 应用程序时使用以下命令行选项启用它们： ``` --conf spark.metrics.conf=/path/to/metrics.properties ``` 其中 `/path/to/metrics.properties` 是包含指标配置的属性文件的路径。此文件应该指定 Spark 要收集哪些指标以及如何将它们发布到外部系统。 如果你已经启用了 Metrics，但仍然无法在 Spark Web UI 上找到它们，请确保你已经导航到正确的页面。在 Spark Web UI 的左侧导航栏中，你应该看到一个名为“监控”的选项。点击它，然后选择“指标”子选项卡。在这个页面上，你应该看到 Spark 收集的所有指标。如果你仍然无法找到它们，请检查 Spark 日志以获取错误消息并进行排除。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值