Spark常用端口号

最新推荐文章于 2024-05-29 16:21:41 发布
最新推荐文章于 2024-05-29 16:21:41 发布
阅读量3.7k 收藏 1
点赞数
分类专栏： Spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/miachen520/article/details/117584340
版权

1）Spark查看当前Spark-shell运行任务情况端口号：4040

2）Spark Master内部通信服务端口号：7077 （类比于Hadoop的8020（9000）端口）

3）Spark Standalone模式Master Web端口号：8080（类比于Hadoop YARN任务运行情况查看端口号：8088）

4）Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888）

mischen520
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
01-Spark环境部署
clear-ninghongkang的博客
08-13 1092
​ **client模式适用于测试调试程序。**Driver进程是在客户端启动的，这里的客户端指的是提交应用程序的当前节点。在Driver端可以看到 task执行的情况​ **生成环境中不能使用client模式。**因为：假设要提交100个application 到集群运行，Driver每次都会在 client端启动，那么就会导致客户端100网卡流量暴增的问题。
Spark重要端口号
大黄的博客
09-13 4324
对于搞大数据开发的人来说，一些常用的端口号还是必须要记住的，这里列举几个常用的端口号（不限于spark）. 50070： HDFS webUI的端口。 18080：spark HistoryServer的webUI的端口。 8080：spark master的webUI端口，同时也是Tomcat的端口。 8081： Flink master的webUI端口，同时也是spark worker的webUI端口。 2181：zookeeper的rpc（Remote Procedure Call）端口。
4040、8080和18080的区别
最新发布
m0_74182861的博客
05-29 299
18080：默认是历史服务器的端口，由于每个程序运行完成后，4040端口就被注销了，在以后想回看某个程序的运行状态就可以通过历史服务器查看，历史服务器长期稳定运行，可供随时查看被记录的程序的运行过程。4040：是一个运行的Application在运行的过程中临时绑定的端口，用来查看当前人任务的状态。4040被占用会顺延到4041、4042等。8080：默认是StandAlone下，Master角色（进程）的WEB端口，用来查看当前Master（集群）的状态。
04-spark常用端口号
huaxing_ba的博客
12-05 1472
spark常用端口号
spark 几个端口
seaReal1的博客
04-25 7755
4040：每个Driver的SparkContext都会启动一个web节目，默认端口是404018080: 启动历史服务器： ./sbin/start-history-server.sh ， 日志跟目录必须在spark.history.fs.logDirectory中配置，每个子目录对应一个Spark程序的事件日志。历史服务会启动web节目，默认端口 18080...
Hadoop和Spark常用端口号
liusuoyin的博客
09-23 955
Hadoop和Spark常用端口号  大数据中Hadoop和Spark的重要性不必多言，常用端口号必须得记得死死的。 Hadoop2.x: 访问HDFS端口      50070 访问MR执行情况端口   8088 访问历史服务器     19888 客户端访问集群端口    9000 Hadoop3.x: 访问HDFS端口      9870 访问MR执行情况端口   8088 访问历史服务器     19888 客户端访问集群端口    8020 Spark： 查看当前Spark-shell 运行情况端
Spark部分：几个重要的端口汇总
wyqwilliam的博客
08-12 1万+
50070：HDFSwebUI的端口号 8485:journalnode默认的端口号 9000：非高可用访问数rpc端口 8020：高可用访问数据rpc 8088：yarn的webUI的端口号 8080：master的webUI，Tomcat的端口号 7077：spark基于standalone的提交任务的端口号 8081：worker的webUI的端口号 18080：histor...
spark完全分布式环境搭建.pdf
10-22
* SPARK_MASTER_PORT：Spark 主服务器的端口号 * SPARK_WORKER_MEMORY：Spark 工作者的内存大小 * SPARK_WORKER_CORES：Spark 工作者的 CPU 核数 * SPARK_WORKER_INSTANCES：Spark 工作者的实例数 * SPARK_EXECUTOR_...
Kafka安装和快速入门 常用命令介绍
01-12
3. **配置**：修改 `config/zookeeper.properties` 和 `config/server.properties` 文件，设置数据存储路径、端口号等参数。 4. **启动**：首先启动 ZooKeeper，然后启动 Kafka 服务。 5. **停止**：停止服务时，应...
大数据技术之高频面试题8.0.2.pdf
03-22
* Hadoop常用端口号：包括NameNode、DataNode、JobTracker、TaskTracker等组件的端口号。 * Hadoop配置文件以及简单的Hadoop集群搭建：包括hadoop-env.sh、core-site.xml、hdfs-site.xml等配置文件的作用和搭建一个...
2023年史上最全的大数据面试题（适用于大数据开发，大数据运维，云计算，数据治理，大数据架构师）
02-19
面试中可能会问到Hadoop的端口号、配置文件设置、HDFS的读写流程、MapReduce的Shuffle过程、YARN的工作流程、Hadoop的性能优化策略等。 3. **Zookeeper**：Zookeeper是一个分布式协调服务，用于管理集群配置和服务...
大数据技术之高频面试题
10-26
**1.2.1 Hadoop 常用端口号** Hadoop 的主要组件如 NameNode（8020）、DataNode（50010）、ResourceManager（8032）、NodeManager（8040）和 JobHistory Server（10020）都有固定的默认端口，面试时可能会问到如何...
spark2.x安装
06-07 508
条件 jdk hadoop 安装 scala https://www.scala-lang.org/download/ 发到虚拟机上，解压 tar -zxvf ./scala-2.13.2.tgz mv scala-2.13.2 /usr/local/ 配置环境变量 vim /etc/profile source /etc/profile 配置SCALA_HOME，然后在PATH变量后加上:$SCALA_HOME/bin #scala export SCALA_HOME=/usr/local/scal
Spark笔试题
热门推荐
china_demon的专栏
11-09 2万+
1. Spark 的四大组件下面哪个不是 (D ) A.Spark Streaming B Mlib  C Graphx D Spark R 2.下面哪个端口不是 spark 自带服务的端口 (C ) A.8080 B.4040 C.8090 D.18080 3.spark 1.4 版本的最大变化 (B ) A spark sql Release 版本 B 引入 Spa
体验第一个spark程序（第四弹）
m0_57781407的博客
08-07 1707
先启动spark集群或者启动hdfs集群，如果之前有开启，则需要重新关闭再开启spark集群或者启动hdfs集群。以客户端模式连接Yarn集群，集群的位置可以在HADOOP_CONF_DIR环境变量中配置。以集群模式连接Yarn集群，集群的位置可以在HADOOP_CONF_DIR环境变量中配置。在standalone模式下，连接到指定spark集群，默认端口号是7077。在spark目录下启动spark服务（未停止的，先停止在启动）启动Hadoop服务（未停止的，先停止在启动）遇到不能创建问题是因为。...
关于spark ui的端口号，踩到一个浏览器的坑，其实不算一个问题
xiao_jun_0820的专栏
11-25 1万+
周知，spark ui的默认端口是4040，然后被占用了就会顺序取+1的端口，当开了多个spark程序之后，当端口号加到了4045，在chrome浏览器里面就打不开了。会返回一个UNSAFE PORT的错误信息，其实这是浏览器禁用了你访问这个端口，程序其实是正常运行的。 因此建议手工指定spark.ui.port=4046在spark-defaults.conf配置文件中，如果4046被占用了，
第147课： Spark面试经典系列之Shuffle的性能调优问题
段智华的博客
07-17 1934
第147课：  Spark面试经典系列之Shuffle的性能调优问题 1 shuffle 原理和运行机制回顾 2 shuffle性能调优
spark端口作用配置及修改
qq_30868737的博客
12-18 7668
spark端口作用配置及修改 Master节点的web端口是8080 仅在 standalone模式使 配置方式在spark-env.sh加一行 export SPARK_MASTER_WEBUI_PORT=8080 work节点的web端口是8081 配置方式在spark-env.sh加一行 export SPARK_WORKER_WEBUI_PORT=8081 Master通信端口是707...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值