Spark集群周边的Web UI设置与打开的端口汇总(持续更新中)

最新推荐文章于 2024-01-19 15:43:45 发布
最新推荐文章于 2024-01-19 15:43:45 发布
阅读量1.4k 收藏 3
点赞数
分类专栏： 大数据 spark 文章标签： spark big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012550977/article/details/120405907
版权

Spark集群周边的Web UI设置与打开的端口汇总(持续更新中)

Spark部分：几个重要的端口汇总

50070：HDFSwebUI的端口号

8485:journalnode默认的端口号

9000：非高可用访问数rpc端口

8020：高可用访问数据rpc

8088：yarn的webUI的端口号

8080：master的webUI，Tomcat的端口号

7077：spark基于standalone的提交任务的端口号

8081：worker的webUI的端口号

18080：historyServer的webUI的端口号

4040：application的webUI的端口号

2181：zookeeper的rpc端口号

9083：hive的metastore的端口号

60010：Hbase的webUI的端口号

6379：Redis的端口号

8080：sparkwebUI的端口号

9092：kafka broker的端口

Lance学大数据
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop-Spark几个重要的端口汇总
someInNeed的博客
06-30 1882
50070：HDFSwebUI的端口号 8485:journalnode默认的端口号 9000：非高可用访问数rpc端口 8020：高可用访问数据rpc 8088：yarn的webUI的端口号 8080：master的webUI，Tomcat的端口号 7077：spark基于standalone的提交任务的端口号 8081：worker的webUI的端口号 18080：histor...
Spark重要端口号
大黄的博客
09-13 4276
对于搞大数据开发的人来说，一些常用的端口号还是必须要记住的，这里列举几个常用的端口号（不限于spark）. 50070： HDFS webUI的端口。 18080：spark HistoryServer的webUI的端口。 8080：spark master的webUI端口，同时也是Tomcat的端口。 8081： Flink master的webUI端口，同时也是spark worker的webUI端口。 2181：zookeeper的rpc（Remote Procedure Call）端口。
大数据之 Spark 常用的端口号
最新发布
代妈炼金术师
01-19 1126
7077，这是 Spark 在 Standalone 模式下的主节点（Master）与 Worker 节点通信的服务端口，客户端提交应用时也会连接此端口。：18080，历史服务器提供已完成作业的持久化存储和查询功能，用户可以在此端口下查看过去运行过的所有 Spark 应用的相关统计信息。：默认为 8080，但这个端口可能会根据实际情况自动调整或手动配置，用户可以通过该端口查看集群的总体状态和各个应用程序的信息。：默认情况下，Worker 的 Web UI 端口可能不是固定的，通常会是。
大致所需要端口号
dci75702的博客
03-16 407
FTP（文件传输）协议代理服务器常用端口号：21 Telnet（远程登录）协议代理服务器常用端口号：23 HTTP服务器，默认端口号为80/tcp（木马Executor开放此端口） HTTPS（securely transferring web pages）服务器，默认端口号为443/tcp 443/udp mysql 3306、 orcale 1521 sql se...
01-Spark环境部署
clear-ninghongkang的博客
08-13 1020
​ **client模式适用于测试调试程序。**Driver进程是在客户端启动的，这里的客户端指的是提交应用程序的当前节点。在Driver端可以看到 task执行的情况​ **生成环境中不能使用client模式。**因为：假设要提交100个application 到集群运行，Driver每次都会在 client端启动，那么就会导致客户端100网卡流量暴增的问题。
Spark应用程序WebUI详解.docx
06-18
这是 Spark 关于 WEBUI 的详细讲解，对 Spark WEBUI 可以有一定的认识。
spark集群安装部署与初步开发
09-12
本资源从简介到开发，详细讲解了spark集群构建和初步开发，适合初学spark的或者学习了hadoop的，希望对大家有帮助。^_^
Spark集群及开发环境搭建（完整版）
04-09
Spark集群及开发环境搭建，适合初学者，一步一步并配有截图。 目录 一、 软件及下载 2 二、 集群环境信息 2 三、 机器安装 2 1. 安装虚拟机VirtualBox 2 2. 安装CentOs7 2 四、 基础环境搭建（hadoop用户下）...
0438-如何指定Spark1作业中Driver和Executor使用指定范围内端口
01-20
在CDH集群中提交Spark作业，大家也都知道Spark的Driver和Executor之间通讯端口是随机的，Spark会随选择1024和65535（含）之间的端口，因此在集群之间不建议启用防火墙。在前面Fayson介绍了《如何指定Spark2作业中...
实时计算框架：Spark集群搭建与入门案例.docx
04-26
实时计算框架：Spark集群搭建与入门案例。50字50字50字50字50字50字
大数据集群中常用到的端口(带截图)
chenlujun98的博客
06-05 752
大数据实验中常用到的一些端口
spark报错——无法访问WebUI
weixin_63507910的博客
04-17 1160
并且spark启动无报错，shell登入正常，唯独无法访问WebUI，通过日志最后发现，并非无法访问WebUI，而是spark在启动中，无法绑定到端口8080，导致spark绑定到其他端口，所以无法通过8080访问WebUI。同时，无法访问WebUI也有很多原因，如进程启动失败等导致，建议读者通过日志记录查找问题，最后通过搜索引擎解决问题。笔者在安装spark，并配置spark高可用后，发现无法访问spark的WebUI，即无法访问。关于进程启动失败，而无法访问WebUI，请看笔者这篇文章。
大数据常见web UI界面
qq_45622250的博客
01-03 443
以上端口号是默认配置，实际部署中可能会有调整。在使用这些Web UI时，确保相关端口在防火墙中打开，并考虑采用安全措施，如HTTPS加密等。此外，具体的Web UI端口和配置可能因不同的发行版和版本而有所不同。大数据平台中的Web UI界面通常提供了对集群资源、任务监控和管理的可视化界面。
Spark的笔记05
weixin_40105543的博客
07-24 138
spark默认端口修改 修改WENUI 端口 ： 在spark/conf/vim spark-env.sh 内写入 export SPARK_MASTER_WEBUI_PORT=8888（默认为8080，这里改为8888） 或 临时环境变量： export SPARK_MASTER_WEBUI_PORT=9999` export -n :删除零时变量 Master HA配置 两种方式 1.本地文件...
大数据常见端口汇总-hadoop、hbase、hive、spark、kafka、zookeeper等（持续更新）
热门推荐
u010476994的博客
11-30 1万+
常见端口汇总： Hadoop：         50070：HDFS WEB UI端口     8020 ： 高可用的HDFS RPC端口     9000 ： 非高可用的HDFS RPC端口     8088 ： Yarn 的WEB UI 接口     8485 ： JournalNode 的RPC端口     8019 ： ZKFC端口 Zookeeper:     2181
Hadoop,Zookeeper,Hbase,Hive,Spark,Kafka,CDH中webui常用端口
optics's blog
04-27 2076
Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 Zookeeper: 2181 ： 客户端连接zooke...
spark shell 删除失效_Spark环境与RDD
weixin_39767124的博客
11-22 183
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Spark内置模块Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。Spark SQL：是Spark用来操作结构化数据的程序包。通过...
Spark端口
tangfatter的博客
12-23 5288
一、4040端口 spark任务运行后，会将Driver所在机器绑定到4040端口，提供当前任务的监控页面。 此端口号默认为4040，展示信息如下： 调度器阶段和任务列表 RDD大小和内存使用情况 环境信息 正在运行的executors的信息 演示如下： 通过spark的java接口启动spark SparkConf sc = new SparkConf(); // 创建一个SpakrConf对象用于配置Spark sc.setAppName("name") // 设定程序名字
spark web ui
09-05
Spark Web UI（用户界面）是一个用于监控和管理Apache Spark应用程序的Web界面。它提供了可视化的方式来查看Spark作业的执行情况、任务的进度以及资源使用情况等重要信息。 Spark Web UI的主要功能包括以下几个方面： 1. 集群总览：显示整个Spark集群的概要信息，如作业和任务的数量、已使用的内存和CPU等。 2. 作业视图：显示已提交的作业列表，包括作业的ID、名称、启动时间、运行时长等信息。用户可以通过该视图来查看作业的执行进度，并了解作业的整体状况。 3. 任务视图：显示作业中各个任务的详细信息，包括任务的ID、状态、运行时间、执行器等。用户可以通过该视图来跟踪任务的执行情况，以及查看任务的日志和异常信息。 4. 阶段视图：展示作业中各个阶段（stage）的信息，包括阶段的ID、名称、状态、任务数等。用户可以通过该视图来了解每个阶段的执行情况和性能瓶颈，从而进行调优和优化。 5. 存储视图：显示Spark应用程序中的缓存数据的详细信息，包括缓存的名称、类型、大小等。用户可以通过该视图来监控缓存数据的使用情况，并决定是否需要进行缓存的清理或释放。 通过Spark Web UI，用户可以实时地监控Spark应用程序的执行情况，并从中获取有价值的性能和调优信息。同时，它也为开发人员提供了一个方便的界面来跟踪任务和作业的执行状态，以便于及时发现和解决问题。总之，Spark Web UI是一个强大而易用的工具，帮助用户更好地理解和管理他们的Spark应用程序。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值