《大数据： Spark Standalone 模式配置历史服务器》

最新推荐文章于 2021-03-13 00:02:37 发布
最新推荐文章于 2021-03-13 00:02:37 发布
阅读量213 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yexiangCSDN/article/details/109644330
版权
本文介绍了如何在Spark Standalone模式下配置历史服务器，以解决Spark客户端查看信息不便的问题。通过停止单个Spark集群，修改`spark-defaults.conf`和`spark-env.sh`文件，设置日志目录和WebUI端口，并确保HDFS运行，创建日志目录，启动Spark集群和历史服务器，可以实现对Spark应用程序历史记录的便捷查看。使用`jps -l`命令区分不同服务器进程。配置完成后，用户可以通过18080端口查看历史服务器，而不用依赖于driver:8081。
摘要由CSDN通过智能技术生成

一、配置历史服务器

1. 上一篇说到  Standalone 集群模式时候 客户端看不到信息， driver:8081 虽然能看到日志和结果，但是体验非常差

2. spark-shell 本身就是客户端模式，这个是改不了为 cluster 模式， 并且运行时候日志打印是有，但是一旦退出了再也没地方看到日志了

yexiang@hadoop2:<spark-standalone>$ bin/spark-shell \
> --master spark://hadoop2:7077 \
> --deploy-mode cluster \
> 
Error: Cluster deploy mode is not applicable to Spark shells.
Run with --help for usage help or --verbose for debug output

3. 根据上面看，我们需要配置日志服务器

①.  首先停掉spark 集群

yexiang@hadoop2:<spark-standalone>$ sbin/stop-all.sh 
hadoop2: stopping org.apache.spark.deploy.worker.Worker
了解本专栏 订阅专栏 解锁全文
HarkerYX
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Spark配置历史服务器
weixin_45793819的博客
04-03 275
Spark配置历史服务器的好处： 1 可以查看spark-shell 每个执行任务的日志记录 2 可以查看spark 任务提交到Yarn运行的日志记录 在程序运行结束后, 依然能够查看运行过程 **-----------------------------------------------------------------------------------------------------...
spark历史服务器配置（standalone）
破晓的成长之路
10-26 439
1、修改conf/spark-default.conf文件(mv spark-defaults.conf.template spark-defaults.conf)如下 #open the log services spark.eventLog.enabled true #set the work directory of log server spark.eventLog.d...
Spark快速入门系列(5) | Spark环境搭建—standalone(2) 配置历史日志服务器
不温卜火
07-08 5453
  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客主页：https://buwenbuhuo.blog.csdn.net/   此篇为大家带来的是Spark环境搭建—standalone(2).
Spark系列——运行模式（二）standalone模式及其历史服务，HA的配置（详解）
王同学的博客
10-03 527
二，standalone模式 已经安装好java（java1.8.0_241) 已经安装好hadoop（hadoop2.10.0） 2.1复制spark，并命名为spark-standalone cp -r spark-2.4.0-bin-hadoop2.7 spark-startalone 2.2进入conf，配置spark-env.sh，确定master cd conf for i in .template; do mv ${i} ${i%.}; done vi spark-env.sh SPARK_
Java启动sparksql,Java提交sparksql任务及问题分析
weixin_35692838的博客
03-13 719
SparkSession spark = SparkSession.builder().enableHiveSupport() //这个必须加，是获取hivemetastore.getOrCreate();spark.sql("use " + args[0]);//args[0] is database ，args[1]为sql语句, args[2]为输出hdfs目录，格式"/task/data...
springboot整合spark连接远程服务计算框架使用standAlone模式
08-15
当需要在Spring Boot应用中整合Spark进行远程服务计算时，通常会采用Spark的Standalone模式。本文将深入探讨如何将Spring Boot与Spark集成，并使用Standalone模式来实现远程服务计算。 首先，我们需要了解Spark ...
大数据技术Hadoop+Spark-hadoop和spark
最新发布
07-18
### 大数据技术Hadoop与Spark综合解析 #### 一、Hadoop 生态圈组件介绍 ##### Hadoop 核心模块解析 Hadoop作为大数据处理领域的重要基石之一，其核心功能在于提供分布式存储与计算能力。Hadoop的核心模块主要包括...
大数据相关面试题Spark,Kakfa等
03-01
Spark 支持三种调度模式：本地模式、集群模式（如 YARN、Mesos 或 Kubernetes）和 Standalone 模式（独立集群模式）。在不同模式下，Spark 可以运行在单机或多台机器上，并且能够根据资源管理器进行动态调度。 ...
完结23章大数据硬核技能进阶 Spark3实战智能物业运营系统
02-26
Standalone模式：Spark自带的任务调度模式。（国内常用） YARN模式：Spark使用Hadoop的YARN组件进行资源与任务调度。（国内常用） Windows模式：为了方便在学习测试spark程序，Spark提供了可以在windows系统下启动...
Spark Core介绍
02-16
Spark Core提供了分布式计算的基本框架，支持大数据处理任务，并且可以在不同的集群管理器上运行，包括Hadoop YARN、Mesos以及独立模式（Standalone）。Spark Core的主要功能包括调度、存储、资源管理和数据交互。 ...
spark on yarn 的那些坑
热门推荐
跟我一起去征服
06-08 9万+
在公司6个节点的测试集群运行得好好的，结果也很正常，然后放上60个节点的预生产环境，我勒个擦，搞了我两天，主要是生产环境的那些家伙不配合，一个问题搞得拖啊拖 ，首先是安全认证问题，截取一两个有意义的吧：       1.没有认证 Caused by: java.io.IOException: javax.security.sasl.SaslException: GSS initiate fa
在集群上运行python编写的spark应用程序（过程记录）
superce的博客
07-05 1万+
启动hadooproot@master:/usr/local/hadoop-2.7.5/sbin#./start-all.sh This script is Deprecated. Instead use start-dfs.shand start-yarn.shStarting namenodes on [master]master: starting namenode, logging to/...
Spark安装部署
笔尖的痕的专栏
03-13 2202
集群概述 本文章涉及spark安装部署，spark-sql,saprk-shell,streaming等等的应用demo… 部署过程详解 Spark布置环境中组件构成如下图所示。 Driver Program 简要来说在spark-shell中输入的wordcount语句对应于上图的Driver Program。 Cluster Manager 就是对应于上面提到的mast
基因数据处理93之sparkBWA安装和使用
Keep Learning
01-04 1761
1.安装 git clone https://github.com/citiususc/SparkBWA.git cd SparkBWA make 2.使用： 报错：没有成功 hadoop@Master:~/xubo/project/alignment/sparkBWA$ ./run.sh Error: Must specify a primary resource (JAR or P
oozie on spark2:运行Oozie中自带的Yarn出现问题
Nobigo
08-21 1766
运行Oozie中自带的Yarn出现问题： Error: Could not load YARN classes. This copy of Spark may not have been compiled with YARN support. Run with --help for usage help or --verbose for debug output Intercepting...
01 spark2.11-作业提交submit源码分析
weixin_30363817的博客
10-16 152
spark2.11-作业提交submit源码分析 分析spark的第一步spark-submit SparkSubmit object SparkSubmit { // Cluster managers private val YARN = 1 private val STANDALONE = 2 private val MESOS = 4 private val ...
sparksql与hive整合
u013571243的专栏
03-27 1088
http://stark-summer.iteye.com/blog/2245286     hive配置 编辑 $HIVE_HOME/conf/hive-site.xml,增加如下内容: Prettyprint代码      hive.metastore.uris    thrift://master:9083    Thrift uri f
spark sql与hive整合
bingo_liu的博客
03-05 750
spark sql与hive整合
spark-standalone模式的历史服务器怎么安装配置
03-28
1. 下载Spark软件包并解压缩到本地目录。 2. 配置Spark环境变量，例如在.bashrc文件中添加以下内容： ``` export SPARK_HOME=/path/to/spark export PATH=$SPARK_HOME/bin:$PATH ``` 3. 安装Java JDK，并配置JAVA_HOME环境变量。 4. 配置Spark的历史服务器，打开$SPARK_HOME/conf目录下的spark-defaults.conf文件，添加以下内容： ``` spark.eventLog.enabled true spark.eventLog.dir file:///path/to/eventlogdir ``` 其中，eventlogdir为存储Spark事件日志的目录。 5. 启动Spark的历史服务器，运行以下命令： ``` $SPARK_HOME/sbin/start-history-server.sh ``` 6. 在浏览器中访问http://localhost:18080，可以看到Spark的历史服务器界面，可以查看Spark应用程序的运行历史记录。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HarkerYX

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值