spark中webUI的启动、调试、配置历史服务器，spark-Master-HA等

最新推荐文章于 2024-06-23 16:52:06 发布
最新推荐文章于 2024-06-23 16:52:06 发布
阅读量3.4k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wyqwilliam/article/details/81191064
版权
本文详细介绍了Spark的WEBUI各个部分，包括Jobs, Stages, Executors等，以及如何通过4040端口观察作业状态。讲解了如何上传文件到HDFS，使用`spark-shell`在Spark集群上执行任务。还涵盖了Spark历史服务器的启动与配置，以及通过Zookeeper实现Spark Master的高可用性设置。最后提到了在不同节点上启动和监控Spark的步骤。" 110770640,10295330,Python卸载numpy失败的问题及解决方案,"['Python环境管理', 'numpy库', '权限问题', '包管理']
摘要由CSDN通过智能技术生成

Spark WEBUI
        【Jobs,Stages,StorageLevel,Environment,Executors,SQL,Streaming 】
        4040端口可以看到当前application中的所有的job,点击job可以看到当前job下对应的stage,点击stage出现stage下的task。

上传文件：

hdfs dfs -put /root/test/words  /spark/data/

进入到Scala编程：去bin目录下：

./spark-shell --master spark://node01:7077

8080：sparkmaster

7077:sparkmaster提交的端口

8081：sparkworker的webUI端口

4040：web的端口

执行（必须要在active状态下启动）：

 sc.textFile("hdfs://node01:8080/spark/data/words").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect()

 

最低0.47元/天 解锁文章
道法—自然
关注
7.Spark历史服务器配置及ha机制
GCPOP的博客
06-17 546
1) 修改spark-defaults.conf.template文件名为spark-defaults.conf 2) 修改spark-default.conf文件，配置日志存储路径 注意：需要启动hadoop集群，HDFS上的directory目录需要提前存在。 3) 修改spark-env.sh文件, 添加日志配置 参数1含义：WEB UI访问的端口号为18080 参数2含义：指定历史服务器日志存储路径 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应
Spark History Server Web UI配置
UniqueChunBlog
03-12 1570
1.进入spark目录和配置文件 [root@hadoop01 ~]# cd /opt/app/spark/conf [root@hadoop01 conf]# cp spark-defaults.conf.template spark-defaults.conf 2.创建spark-history的存储日志路径为hdfs上(当然也可以在linux文件系统上) [root@hadoo...
Spark on YARN配置日志Web UI
zyj8170的专栏
02-27 5441
Spark部署在YARN之后，从Standalone模式下的Spark Web UI直接无法看到执行过的application日志，不利于性能分析。得益于实验室师弟的帮忙，本文记录如何配置history UI。 修改spark-defaults.conf spark.eventLog.enabled=true spark.eventLog.compress=true spark.e
Spark web UI 介绍
最新发布
zby384的博客
06-23 2219
打开 Spark UI，首先映入眼帘的是默认的 Jobs 页面。Jobs 页面记录着应用中涉及的 Actions 动作，以及与数据读取、移动有关的动作。其中，每一个 Action 都对应着一个 Job，而每一个 Job 都对应着一个作业。可以看到，导航条最左侧是 Spark Logo 以及版本号，后面则依次罗列着 6 个一级入口。每个入口的功能与作用如下的表格介绍其中Spark Properties 是重点，其中记录着所有在运行时生效的 Spark 配置项设置。
Spark Master UI
DViewer的专栏
10-13 1564
There are 4 was to run spark: localStandaloneYARNMesos When Spark is run in local mode (as you're doing on your laptop) a separate Spark Master and separate Spark Workers + Exectuors are not launc
spark简单快速学习及打开UI界面---1
weixin_33699914的博客
02-28 499
1.远程集群测试 import org.apache.spark.{SparkContext, SparkConf} import scala.math.random /** * 利用spark进行圆周率的计算 * Created by 汪本成 on 2016/6/10. */ object test { def main(args: Array[String]...
Spark的安装配置(本地模式，standalone模式，standalone HA模式，on-yarn模式)
hailunw的专栏
06-25 369
1）Standalone模式 2）HA集群模式 3）Yarn模式
pyspark-spark基本的概念-spark本地模式-集群模式-HA模式
LIUERTOU的博客
11-06 1414
spark的基本概念 spark基本概念 spark就是一款大规模数据的统一分析引擎，基于内存计算，整个spark核心的数据架构是RDD（弹性分布式数据集，认为是列表list），由加州大学柏克莱发表，后贡献给了Apache spark框架中各个节点的通信采用的模块为：netty框架 为什么说spark的运行效率比mr快一点？ spark核心: 弹性分布式数据集(RDD), 借鉴了MR的分布式并行计算的思想, 但是解决了MR存在的一些问题, 会将中间的结果存储在内存中(如果存储不下, 也可以
大数据-计算引擎-Spark（二）：Spark安装与配置【Local模式、Standalone模式、Yarn模式】
u013250861的博客
01-30 671
大数据-计算引擎：Spark安装与配置【Local模式】
Spark --- 启动、运行、关闭过程
weixin_34327761的博客
04-17 224
https://blog.csdn.net/zhufenglonglove/article/details/51604795 小结：在浏览器4040端口登录查看spark web UI。 1 [abc@search-engine---dev4 spark]$ ./bin/run-example SparkPi 2 Using Spark's default log4j profile...
Spark--一文了解WebUI_spark web ui(1)，字节跳动历年校招大数据开发面试真题解析
2401_84166376的博客
04-17 865
日常工作中经常用到sparkui来排查一些问题，有些东西需要经常搜索，网上的文章有写的很棒的，也有写的一言难尽的，这里参考了其他大佬的文章，自己整体梳理了一下，方便自己使用，也希望能帮助到大家～
Spark Web UI 监控
zhangvalue的博客
11-22 2934
8080 当我们成功启动spark后，通过http://localhost:8080即可访问master的监控界面，此端口号默认是8080，若此端口不可用，也可通过修改配置文件conf/spark-env.sh进行修改 如上图所示，此页面自上而下包括：  spark版本信息，spark master 的URL（worker用来连接此master的URL）  worker的数量：1  所有w...
spark master web ui 端口8080被占用解决方法
jast
07-08 902
Spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1，但为了可以控制到指定的端口，我们可以自行设置，修改方法：定位到下面部分内容： 修改上面的端口为其它可用端口就行...
Spark UI
记录点点滴滴
03-07 934
展示 Spark UI ，需要设置配置项并启动 History Server打开 Spark UI 先见默认 Jobs 页面。
大致所需要端口号
dci75702的博客
03-16 422
FTP（文件传输）协议代理服务器常用端口号：21 Telnet（远程登录）协议代理服务器常用端口号：23 HTTP服务器，默认端口号为80/tcp（木马Executor开放此端口） HTTPS（securely transferring web pages）服务器，默认端口号为443/tcp 443/udp mysql 3306、 orcale 1521 sql se...
windows IDEA spark本地调试web ui 打不开
紫蝶侠的博客
07-05 985
在windows环境变量中添加一个环境变量 SPARK_LOCAL_IP 在cmd中运行ipconfig命令查看自己的ip地址，然后赋值给这个环境变量 可以在代码尾部假如睡眠，避免任务运行完就退出，web ui 关闭 Thread.sleep(20000) 或者 if(arg.startsWith("--local")) { local = true } if(local) { System.in.read spark.stop() } ...
20天学习Spark（1）之Spark UI的使用
洒家
09-13 2633
Spark UI的使用方式
spark-yarn历史服务器的配置
03-29
在安装和配置 Spark-YARN 历史服务器之前，需要确保已经安装了 Spark 和 YARN，并且 Spark 和 YARN 的版本兼容。 以下是配置 Spark-YARN 历史服务器的步骤： 1. 下载 Spark-YARN 历史服务器 从 Spark 官方网站下载 Spark-YARN 历史服务器。 2. 配置 Spark-YARN 历史服务器 创建一个 spark-defaults.conf 文件并添加以下配置： ``` spark.history.provider=org.apache.spark.deploy.history.FsHistoryProvider spark.history.fs.logDirectory=hdfs://<YARN-MASTER>:8020/logs/spark/logs spark.history.ui.port=18080 ``` 其中，<YARN-MASTER> 是 YARN 的主节点地址。 3. 配置 YARN 日志聚合 在 yarn-site.xml 文件中添加以下配置： ``` <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>2592000</value> </property> ``` 其中，yarn.log-aggregation-enable 配置启用 YARN 日志聚合，yarn.log-aggregation.retain-seconds 配置聚合后的日志保留时间。 4. 启动 Spark-YARN 历史服务器 使用以下命令启动 Spark-YARN 历史服务器： ``` ./sbin/start-history-server.sh ``` 5. 访问 Spark-YARN 历史服务器 访问 http://<history-server>:18080，其中，<history-server> 是 Spark-YARN 历史服务器的地址。 在 Spark-YARN 历史服务器的网页中可以查看 Spark 应用程序的历史记录和性能指标。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值