spark日志服务器配置

最新推荐文章于 2023-09-13 16:04:19 发布
最新推荐文章于 2023-09-13 16:04:19 发布
阅读量407 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41669665/article/details/83186126
版权

spark-default.xml 增加三个配置项

  spark.eventLog.enabled           true
  spark.eventLog.compress          true
  spark.eventLog.dir               hdfs://10.120.4.246:9000/spark/log/
  spark.yarn.historyServer.address 121.40.61.185:18080

 

spark.eventLog.dir  是日志存储的位置

spark.yarn.historyServer.address是日志服务器的地址

 

spark-env.sh中增加

export SPARK_HISTORY_OPTS="-Dspark.history.retainedApplications=20 -Dspark.history.fs.logDirectory=hdfs://10.120.4.246:9000/spark/log/"

 

启动日志服务器

start-history-server.sh

qq_41669665
关注
《大数据： Spark Standalone 模式配置历史服务器》
yexiangCSDN的专栏
11-12 226
一、配置历史服务器 1. 上一篇说到 Standalone集群模式时候 客户端看不到信息， driver:8081 虽然能看到日志和结果，但是体验非常差 2. spark-shell 本身就是客户端模式，这个是改不了为 cluster 模式， 并且运行时候日志打印是有，但是一旦退出了再也没地方看到日志了 yexiang@hadoop2:<spark-standalone>$ bin/spark-shell \ > --master spark://hadoop2:7077 \ ..
Spark应用——网络服务器日志分析
wangli0519的博客
06-22 1836
这里我们展示如何使用Spark来分析网络服务器日志。 服务器日志是富含信息的通用大数据。Spark提供了能快速简便执行这类数据分析的工具。日志数据可以来自多个源，如网络、文件、计算机服务器、应用日志、用户产生的内容，并可以用于监视服务器、改善商业和客户信息、构建推荐系统、欺诈侦测以及更多的应用。 首先我们需要载入一些会用到的库 import re import datetime from d
Spark配置日志服务器
liangzelei的博客
05-31 1171
复制spark.default.conf.template到spark.default.conf将以下内容添加到spark.default.conf中spark.eventLog.enabled           truespark.eventLog.dir                    hdfs://namenode:8021/directory修改spark.env.shexport...
Spark历史日志服务器配置
ThisisWilli
11-24 1072
Spark历史日志服务器配置 配置存放历史日志的路径 在客户端中[root@node04 spark-2.3.1]# cd conf/ [root@node04 conf]# vim spark-defaults.conf，进行配置，注意hdfs的端口，如果存放日志的端口配置错误，那么在使用spark-shell提交任务时，会有连接异常java.net.ConnectException s...
spark6. 如何设置spark 日志
最新发布
笔生花的博客
09-13 1481
本文只讲解再yarn 模式下的日志配置。
spark 几个端口
seaReal1的博客
04-25 7781
4040：每个Driver的SparkContext都会启动一个web节目，默认端口是404018080: 启动历史服务器： ./sbin/start-history-server.sh ， 日志跟目录必须在spark.history.fs.logDirectory中配置，每个子目录对应一个Spark程序的事件日志。历史服务会启动web节目，默认端口 18080...
7.Spark历史服务器配置及ha机制
GCPOP的博客
06-17 560
1) 修改spark-defaults.conf.template文件名为spark-defaults.conf 2) 修改spark-default.conf文件，配置日志存储路径 注意：需要启动hadoop集群，HDFS上的directory目录需要提前存在。 3) 修改spark-env.sh文件, 添加日志配置 参数1含义：WEB UI访问的端口号为18080 参数2含义：指定历史服务器日志存储路径 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应
spark 服务器 配置文件,Spark：安装及环境配置指南！
weixin_28685045的博客
08-06 1671
前篇文章介绍了scala的安装与配置、接下来介绍一下spark的安装及环境配置。1、Apache spark下载在浏览器输入网址https://spark.apache.org/downloads.html进入spark的下载页面，如下图所示：下载时需要注意的是在第1步选择完spark版本之后的第2步“choose a package type ”时，spark与hadoop版本必须配合使用。因为...
spark配置
m0_50289266的博客
03-14 3539
spark配置
SparkSql处理日志后保存到mysql中
zhm的博客
12-04 1422
SparkSql处理后的数据保存到Mysql中 1.原始JDBC object SqlUtils { /** * 获取连接 */ def getConnection():Connection = { DriverManager.getConnection("jdbc:mysql://192.168.126.31:3306/sparklog?use...
Linux下安装单机版Spark并使用scala和python
小白白的博客
11-02 3656
（作者：陈玓玏） 只学习spark，还不学分布式的时候，可以先单机装spark，这时候不需要用到hadoop的，但是仍然需要java环境，所以要先安装java的jdk。 1、 下载并安装java jdk： http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 地址，下载 一样的位置，...
appium安装及环境配置_Spark：安装及环境配置指南
weixin_39969976的博客
11-26 281
前篇文章介绍了scala的安装与配置、接下来介绍一下spark的安装及环境配置。1、Apache spark下载 在浏览器输入网址https://spark.apache.org/downloads.html进入spark的下载页面，如下图所示：下载时需要注意的是在第1步选择完spark版本之后的第2步“choose a package type ”时，spark与hadoop版本必须配合使用。因...
Spark独立集群安装
wux_labs的博客
12-14 1021
Spark独立集群的安装，至少需要3台服务器，在安装Spark之前准备好3台服务器，服务器的主机名及IP地址分别是：node1（10.0.0.5)、node2（10.0.0.6）、node3（10.0.0.7），每台服务器都需要按统一规划安装好Java、Python、Spark软件包。
大数据Spark集群模式配置
Linuxprobe18的博客
10-24 562
导读 这里我们来看看只使用Spark自身节点运行的集群模式，也就是我们所谓的独立部署(Standalone)模式。Spark的Standalone模式体现了经典的master-slave模式。 集群规划: 1 解压缩文件 将spark-3.0.0-bin-hadoop3.2.tgz.tgz文件上传到Linux并解压缩在指定位置 tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module cd /opt/module mv spark-
spark对接aws s3以及兼容s3接口的对象存储
xingyunyang的博客
08-05 3259
spark对接aws s3或者其他厂商兼容s3接口的对象存储，替代本地存储或者hdfs存储jar包，日志等
Spark 2.2 日志服务器搭建
weixin_40683484的博客
01-15 447
对于MapReduce的HistoryServer只能记录MR的运行log，因此对于Spark需要单独部署自己的HistoryServer。 1.确认spark已经完成安装，且环境变量已如下设置 [hadoop@hadoop02 conf]$ echo $SPARK_HOME /home/hadoop/apps/spark2.2 修改/home/hadoop/apps/spark2.2...
spark-defaults.conf配置文件
军军的博客
01-16 9903
spark.master spark://master:7077spark.eventLog.enabled truespark.eventLog.dir hdfs://namenode:8021/directoryspark.serializer org.apache.spark.serializer.KryoSerializerspark.driver.memory 5gspark.execu
【DataMagic】如何在万亿级别规模的数据量上使用Spark
weixin_33915554的博客
04-18 470
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~本文首发在云+社区，未经许可，不得转载。作者：张国鹏 | 腾讯 运营开发工程师一、前言Spark作为大数据计算引擎，凭借其快速、稳定、简易等特点，快速的占领了大数据计算的领域。本文主要为作者在搭建使用计算平台的过程中，对于Spark的理解，希望能给读者一些学习的思路。文章内容为介绍Spark在DataMagic平台扮演的角色、如何快速掌握S...
Spark-运行环境以及部署
clearlxj的博客
07-30 788
运行环境 Spark 作为一个数据处理框架和计算引擎,被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为 Yarn,不过逐渐容器式环境也慢慢流行起来。接下来,我们就分别看看不同环境下 Spark 的运行 Local 模式 所谓的 Local 模式,就是不需要其他任何节点资源就可以在本地执行 Spark 代码的环境,一般用于教学,调试,演示等，之前在 IDEA 中运行代码的环境我们称之为开发环境,不太一样。 部署使用 将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到Lin
spark-yarn历史服务器的配置
03-29
在安装和配置 Spark-YARN 历史服务器之前，需要确保已经安装了 Spark 和 YARN，并且 Spark 和 YARN 的版本兼容。 以下是配置 Spark-YARN 历史服务器的步骤： 1. 下载 Spark-YARN 历史服务器 从 Spark 官方网站下载 Spark-YARN 历史服务器。 2. 配置 Spark-YARN 历史服务器 创建一个 spark-defaults.conf 文件并添加以下配置： ``` spark.history.provider=org.apache.spark.deploy.history.FsHistoryProvider spark.history.fs.logDirectory=hdfs://<YARN-MASTER>:8020/logs/spark/logs spark.history.ui.port=18080 ``` 其中，<YARN-MASTER> 是 YARN 的主节点地址。 3. 配置 YARN 日志聚合 在 yarn-site.xml 文件中添加以下配置： ``` <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>2592000</value> </property> ``` 其中，yarn.log-aggregation-enable 配置启用 YARN 日志聚合，yarn.log-aggregation.retain-seconds 配置聚合后的日志保留时间。 4. 启动 Spark-YARN 历史服务器 使用以下命令启动 Spark-YARN 历史服务器： ``` ./sbin/start-history-server.sh ``` 5. 访问 Spark-YARN 历史服务器 访问 http://<history-server>:18080，其中，<history-server> 是 Spark-YARN 历史服务器的地址。 在 Spark-YARN 历史服务器的网页中可以查看 Spark 应用程序的历史记录和性能指标。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值