大数据求索（4）：配置Spark History Server

最新推荐文章于 2022-09-27 20:21:45 发布
最新推荐文章于 2022-09-27 20:21:45 发布
阅读量184 收藏
点赞数 2
分类专栏： A大数据开发 大数据求索 文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wen_fei/article/details/84780078
版权
本文主要介绍了如何配置Spark History Server，包括修改`spark-defaults.conf`和`spark-env.sh`配置文件，详细解释了`spark.eventLog.enabled`、`spark.eventLog.dir`等关键属性，以及启动步骤和设置历史记录的数量。确保HDFS目录存在并设置好相关端口，以实现Spark应用程序历史的可视化查看。
摘要由CSDN通过智能技术生成

大数据求索（4）：配置Spark History Server

修改配置文件

  • 修改conf/spark-default.conf
cp  spark-default.conf.template spark-default.conf
vim spark-default.conf

大数据求索4-1

属性说明

(1) spark.eventLog.enabled。

是否记录Spark事件，用于应用程序在完成后的筹够WebUI。

(2) spark.eventLog.dir。

设置spark.eventLog.enabled为true后，该属性为记录spark时间的根目录。在此根目录中，Spark为每个应用程序创建分目录，并将应用程序的时间记录到此目录中。用户可以将此属性设置为HDFS目录，以便History Server读取。

  • 修改conf/spark-env.sh
export SPARK_HISTORY_OPTS=
最低0.47元/天 解锁文章
腾云丶
关注
专栏目录
spark history server 单独部署,作为微服务提供日志服务
mtj66的博客，交流WX:SpringBreeze1104
06-06 858
场景: 在spark history server部署的时候,一般在生产机器上,但是开发,或者是测试的时候,如果要做网络隔离,你就无法看到生产上的日志了, 如果开放VPN访问生产集群,也是可以的,但是现在不开放了,如何解决查看spark日志的问题. 打开history server的源代码:org.apache.spark.deploy.history.HistoryServer看个究竟. ...
7.Spark历史服务器配置及ha机制
GCPOP的博客
06-17 581
1) 修改spark-defaults.conf.template文件名为spark-defaults.conf 2) 修改spark-default.conf文件，配置日志存储路径 注意：需要启动hadoop集群，HDFS上的directory目录需要提前存在。 3) 修改spark-env.sh文件, 添加日志配置 参数1含义：WEB UI访问的端口号为18080 参数2含义：指定历史服务器日志存储路径 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应
spark配置历史服务
weixin_45401713的博客
03-15 445
修改spark-defaults.conf.template文件名 mv spark-defaults.conf.template spark-defaults.conf 修改spark-default.conf文件，配置日志存储路径 spark.eventLog.enabled true spark.eventLog.dir hdfs://Hadoop102:8020/directory 注意：需要启动hadoop集群 （hadoop102: start
Spark 配置History
sunrising_hill的专栏
07-28 616
首先在spark-defaults.conf中添加线面两行：spark.eventLog.enabled true spark.eventLog.dir hdfs://master.domain.com:9000/log/sparkLogs在spark-env.sh中添加下面两行：export SPARK_HISTORY_OPTS="-Dspark....
Spark 运行环境
qq_50231389的博客
11-20 1924
Spark 运行环境1.Local模式1.1解压缩文件1.2启动Local环境1.3命令行工具1.4退出本地模式1.5提交应用2.Standalone模式2.1修改配置文件2.2启动集群2.3提交应用2.4提交参数说明2.5配置历史服务2.6 K8S & Mesos 模式2.7 Windows 模式2.8 部署模式对比2.9 端口号 Spark 作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为 Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分
大数据技术系列：【大数据技术体系】学习实践导览
u012730075的专栏
09-27 1219
本文主要分为以下几个方面： 明确大数据平台的业务目标; 明晰大数据平台的架构框架; 了解大数据平台中常用的技术及工具; 扩展数据治理的知识面;
大数据求索(9): log4j + flume + kafka + spark streaming实时日志流处理实战
腾云
12-16 660
大数据求索(9): log4j + flume + kafka + spark streaming实时日志流处理实战 一、实时流处理 1.1 实时计算 跟实时系统类似（能在严格的时间限制内响应请求的系统），例如在股票交易中，市场数据瞬息万变，决策通常需要秒级甚至毫秒级。通俗来说，就是一个任务需要在非常短的单位时间内计算出来，这个计算通常是多次的。 1.2 流式计算 通常指源源不断的数据流过系统，系...
大数据求索(2):yarn的配置与使用
腾云
10-02 1602
yarn的架构 1） Resourcemanager: RM 整个集群同一时间提供服务的RM只有一个，负责集群资源的统一管理和调度 处理来自客户端的请求，比如提交一个job，杀死一个job等 监控NM，一旦某个NM挂了，那么该NM上运行的任务需要告诉AM来如何进行调度 NodeManager：NM 整个集群中可以有多个，负责结点自己本身的资源管理和使用 定时向RM汇报结点自身的资源使用...
大数据求索(13): Redis数据类型详解
腾云
12-25 432
大数据求索(13): Redis数据类型详解 一、Redis五大数据类型 Redis总共有五大数据类型，分别包括以下内容： String（字符串） Hash（哈希） List（列表） Set（集合） ZSet（有序集合） 丰富的数据类型使得Redis能够在非常多的场景下发挥巨大的作用，下面对这五种数据类型分别作详细介绍。 二、String 2.1 重要概念 String是redis最基本的类型...
spark安装配置
m0_66279156的博客
06-02 3856
spark安装配置
Spark History Server Web UI配置
UniqueChunBlog
03-12 1592
1.进入spark目录和配置文件 [root@hadoop01 ~]# cd /opt/app/spark/conf [root@hadoop01 conf]# cp spark-defaults.conf.template spark-defaults.conf 2.创建spark-history的存储日志路径为hdfs上(当然也可以在linux文件系统上) [root@hadoo...
Spark的安装配置（spark-3.1.1-bin-hadoop2.7）
大数据
03-01 5281
配之前准备 将scala-2.12.13.tgz和spark-3.1.1-bin-hadoop2.7.tgz安装包上传到xshell 在xshell上解压压缩包 输入解压命令： tar -zxvf scala-2.12.13.tgz tar -zxvf spark-3.1.1-bin-hadoop2.7.tgz 配置 1、配置环境变量 vim .bashrc 在文件末尾添加如下内容： #spark export SPARK_HOME=/home/...
大数据historyserver,jobhistory日志聚合的原理与配置
yrsg666的博客
04-11 431
https://blog.csdn.net/holdbelief/article/details/79565573 https://www.cnblogs.com/juncaoit/p/6379006.html https://blog.csdn.net/shie_3/article/details/80301130 https://blog.csdn.net/sang1203/articl...
关于spark history server 无法显示完成的JOB的问题解决
xiao_jun_0820的专栏
09-25 8092
该问题主要是由于访问HDFS的访问权限导致的，表现为配置的hdfs上的/user/spark/applicationHistory目录下面可以生成具体的application历史信息，但是history server ui上却无法显示，表示这个目录有写入权限没有读取权限，为什么有写入权限呢？因为我执行spark-submit的时候export HADOOP_USER_NAME=hdfs了，hdfs
spark 开发中log4j详解与配置步骤
06-12 8915
1 环境 <properties> <scala.version>2.11.8</scala.version> <spark.version>2.2.0</spark.version> <hadoop.version>2.6.0-cdh5.7.0</hadoop.version>
Spark SQL：实现日志离线批处理
不花的花和尚的博客
09-17 1402
    原文参考：https://www.cnblogs.com/kinghey-java-ljx/p/8543552.html
CM5.12.0 spark 2.2.0 安装history service
mtj66的博客，交流WX:SpringBreeze1104
11-02 942
Fail to bind history server . 原因是 没有将 相应的jar 拷贝到各个节点 将 SPARK2_ON_YARN-2.2.0.cloudera1.jar 拷贝  到 各节点的 /opt/cloudera/csd 目录下并更改用户组为  cloudera-scm （尤其是historyServer要有） -rw-r--r-- 1 cloudera-scm cl
SparkStreaming的log4j日志记录
spark的自由牧场的博客
02-24 7942
博客前言 为什么我们要写日志 基本上每个程序都要有日志记录的功能，日志的记录最重要的用处就是监控程序的运行状态和错误查找。如果程序没有写日志，那程序就像瞎子一样，瞎跑，你都不知道为什么数据不对，为什么程序报错，程序运行成功还是失败。在流式计算Sparkstreaming中，日志的记录是非常重要的；因为流式计算是需要7*24小时一直运行的，你不记日志你根本不知道程序运行成功还是错误（当然你可以通过s
解决Hadoop无法启动JobHistoryServer
热门推荐
大佛拈花的博客
03-01 1万+
gosaint@gosaint:/usr/local/hadoop$ sbin/mr-jobhistory-daemon.sh start ==== 出现如下问题: WARNING: Use of this script to start the MR JobHistory daemon is deprecated. WARNING: Attempting to execute replace...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值