spark入门 配置历史服务器(四)

最新推荐文章于 2023-09-28 10:11:12 发布
最新推荐文章于 2023-09-28 10:11:12 发布
阅读量208 收藏
点赞数
文章标签： spark 服务器 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43205308/article/details/131071593
版权

配置conf

进入conf文件夹

cp spark-defaults.conf.template spark-defaults.conf

vim spark-defaults.conf

spark.eventLog.enabled           true
spark.eventLog.dir               需要根据自己的配置修改

在这里插入图片描述

vim spark-env.sh

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory= 需要根据自己的配置修改
-Dspark.history.retainedApplications=30"

在这里插入图片描述
在这里插入图片描述

需要在hdfs创建spark文件夹

hadoop fs -mkdir /spark

重新启动

sbin/start-all.sh

sbin/start-history-server.sh

提交任务

bin/spark-submit --class  org.apache.spark.examples.SparkPi --master spark://hadoop100:7077 examples/jars/spark-examples_2.12-3.0.0.jar 10

访问http://hadoop100:18080/

在这里插入图片描述
在这里插入图片描述

Long long ago.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark配置历史服务器
weixin_45793819的博客
04-03 272
Spark配置历史服务器的好处： 1 可以查看spark-shell 每个执行任务的日志记录 2 可以查看spark 任务提交到Yarn运行的日志记录 在程序运行结束后, 依然能够查看运行过程 **-----------------------------------------------------------------------------------------------------...
2024年大数据最新Spark-3(3)，疯狂膜拜
最新发布
2401_84183753的博客
05-05 332
由于集群的信息，包括 Worker，Driver 和 Application的信息都已经持久化到文件系统，因此在切换的过程中只会影响新 Job 的提交，对于正在进行的 Job 没有任何的影响。Standalone 模式是 Spark 自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone 模式是真实地在多个机器之间搭建 Spark 集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。4040 端口是一个 WEBUI 临时端口，可以在浏览器内打开。
Spark 配置历史服务器
涵sir的博客
07-20 1126
类似Hadoop，Spark也有自己的history server，这里我们就来配置下： 修改 spark-defaults.conf.template 文件名为 spark-defaults.conf mv spark-defaults.conf.template spark-defaults.conf 修改 spark-default.conf 文件，配置日志存储路径 spark.eventLog.enabled true spark.eventLog.dir
spark配置历史服务
sunlang的博客
04-29 1013
1：配置spark-default.conf文件, 开启 Log cp spark-defaults.conf.template spark-defaults.conf 在spark-defaults.conf文件中, 添加如下内容: spark.eventLog.enabled true spark.eventLog.dir hdfs://had...
配置 spark 历史服务器
hj1993的博客
02-04 563
在没有退出之前, 我们是可以看到正在执行的任务的日志情况，一旦任务执行结束，web-ui就不能看到历史任务，需要额外配置历史服务器。
初识Spark入门
08-25
初识Spark入门 Spark是一种基于内存的通用并行计算框架，目标是让数据分析更加快速。Spark包含了大数据领域常见的各种计算框架，包括spark core（离线计算）、spark sql（交互式查询）、spark streaming（实时计算...
Spark 入门实战系列
01-18
Spark 入门实战系列，适合初学者，文档包括十部分内容，质量很好，为了感谢文档作者，也为了帮助更多的人入门，传播作者的心血，特此友情转贴: 1.Spark及其生态圈简介.pdf 2.Spark编译与部署（上）--基础环境搭建....
Spark入门实战之最好的实例
02-24
本文来自于csdn，本文主要介绍如何使用Scala编写Spark应用程序处理大数据，希望对您的学习有所帮助。安装ScalaIDE搭建Scala语言开发环境很容易，ScalaIDE官网下载合适的版本并解压就可以完成安装，本文使用的版本是...
第十章 spark配置历史服务
开朗小哥的博客
02-18 2170
系列文章： 第一章 Hadoop集群搭建的准备 第二章 Hadoop集群搭建 第三章 Zookeeper分布式集群部署（2n+1台虚拟机） 第四章 Hadoop高可用集群搭建（HA） 待更新 文章目录修改配置文件（先进入spark-3.1.2的conf目录）1、修改spark-defaults.conf文件。2、修改spark-env.sh文件，执行以下操作。3、将配置好后的配置文件分发到其他虚拟机。4、启动集群和历史服务。5、提交应用测试集群。 由于spark-shell停止后，集群监控node1:4
7.Spark历史服务器配置及ha机制
GCPOP的博客
06-17 247
1) 修改spark-defaults.conf.template文件名为spark-defaults.conf 2) 修改spark-default.conf文件，配置日志存储路径 注意：需要启动hadoop集群，HDFS上的directory目录需要提前存在。 3) 修改spark-env.sh文件, 添加日志配置 参数1含义：WEB UI访问的端口号为18080 参数2含义：指定历史服务器日志存储路径 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应
Spark历史服务器配置与使用
蚂蚁
08-04 1190
介绍 spark也有历史服务器，监控已经运行完成的spark application start-history-server.sh （1）将application运行的日志信息保存起来 MapReduce运行的时候，启动了日期聚集功能：将日志信息 上传到HDFS目录 （2）启动一个服务读取日志信息，以便前端页面展示 MrHistoryServer 配置Spark HistoryServer 1....
spark的历史服务器配置
qq_45292079的博客
12-30 364
spark2.4.4、hadoop3.4.4
sparklinux服务器日志信息,启动 Spark 历史记录服务器 - AWS Glue
weixin_36290719的博客
08-06 393
本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。启动 Spark 历史记录服务器您可以使用在 EC2 实例上托管服务器的 AWS CloudFormation 模板启动 Spark 历史记录服务器，也可以使用 Docker 在本地启动 Spark历史记录服务器。使用 AWS CloudFormation 启动 Spark 历史记录服务器并查看 Spark UI您可以使用...
在IDEA环境下，通过代码配置Spark历史服务器
qq_40135006的博客
09-28 678
在spark-3.1.1-bin-hadoop2.7/conf/spark-defaults.conf添加以下配置，其中d:/log/spark为日志保存位置。使用命令启动历史服务器，可以看到启动的端口号，通过 http://localhost:端口号 访问历史服务器。在scala代码中的SparkSession添加以下配置。
yarn/spark 历史服务器 jobhistory的启动以及整合
fanghailiang2016的博客
05-29 2422
hadoop开始jobhistory服务器运行命令 sbin/mr-jobhistory-daemon.sh start historyserver 相关配置项在文件mapred-site.xml中配置，包括如下 mapreduce.jobhistory.address jobhistory内部路径 mapreduce.jobhistory.webapp.address jobhistory网页路径 如果在历史服务器中需要查看日志信息，需要在yarn-site.xml中进行配置，如下 yar.
BigData_A_B_01Spark-core-3-日志保存和历史服务器以及高可用
zhuzi51的专栏
12-31 164
楔子 spark日志保存 和 历史服务器 以及高可用搭建 1 日志保存 和历史服务器 配置文件spark-defaults.conf spark.eventLog.enabled true spark.eventLog.dir hdfs://had2/spark/data/log spark.history.fs.logDirectory ...
spark-介绍 + 高可用 + Spark-submit + 历史服务器
qq_35968375的博客
03-31 2662
为什么要使用spark -spark到目前为止没有竞争对手 为什么要用到大数据? -文件超级大,一块硬盘放不下,—>hdfs上场;(存储问题) -僵尸数据:(数据存储到一个位置得用起来);(CPU+内存来完成计算);多机一块运算(MapReduce) -mr的开发流程特别繁琐;hive --> sql语句 --> 会转换成 mr 代码 --> hadoop中...
spark-yarn历史服务器的配置
03-29
在安装和配置 Spark-YARN 历史服务器之前，需要确保已经安装了 Spark 和 YARN，并且 Spark 和 YARN 的版本兼容。 以下是配置 Spark-YARN 历史服务器的步骤： 1. 下载 Spark-YARN 历史服务器 从 Spark 官方网站下载 Spark-YARN 历史服务器。 2. 配置 Spark-YARN 历史服务器 创建一个 spark-defaults.conf 文件并添加以下配置： ``` spark.history.provider=org.apache.spark.deploy.history.FsHistoryProvider spark.history.fs.logDirectory=hdfs://<YARN-MASTER>:8020/logs/spark/logs spark.history.ui.port=18080 ``` 其中，<YARN-MASTER> 是 YARN 的主节点地址。 3. 配置 YARN 日志聚合 在 yarn-site.xml 文件中添加以下配置： ``` <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>2592000</value> </property> ``` 其中，yarn.log-aggregation-enable 配置启用 YARN 日志聚合，yarn.log-aggregation.retain-seconds 配置聚合后的日志保留时间。 4. 启动 Spark-YARN 历史服务器 使用以下命令启动 Spark-YARN 历史服务器： ``` ./sbin/start-history-server.sh ``` 5. 访问 Spark-YARN 历史服务器 访问 http://<history-server>:18080，其中，<history-server> 是 Spark-YARN 历史服务器的地址。 在 Spark-YARN 历史服务器的网页中可以查看 Spark 应用程序的历史记录和性能指标。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值