hadoop spark端口整理

最新推荐文章于 2024-06-18 09:25:35 发布
最新推荐文章于 2024-06-18 09:25:35 发布
阅读量360 收藏
点赞数 1
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a772304419/article/details/112789748
版权 
50070：HDFSwebUI的端口号

8485:journalnode默认的端口号

9000：非高可用访问数rpc端口

8020：高可用访问数据rpc

8088：yarn的webUI的端口号

8080：master的webUI，Tomcat的端口号

7077：spark基于standalone的提交任务的端口号

8081：worker的webUI的端口号

18080：historyServer的webUI的端口号

4040：application的webUI的端口号

2181：zookeeper的rpc端口号

9083：hive的metastore的端口号

60010：Hbase的webUI的端口号

6379：Redis的端口号

8080：sparkwebUI的端口号

9092：kafka broker的端口
学亮编程手记
关注
专栏目录
Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表
10-29
端口 作用 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-address 50100 dfs.namenode.backup.address 50105 dfs.namenode.backup.http-address 50090 dfs.namenode.secondary.http-address，如：172.25.39.166:50090 50091 dfs.namenode.secondary.https-address，如：172.25.39.166:50091 50020 dfs.datanode.ipc.address 50075 dfs.datanode.http.address 50475 dfs.datanode.https.address 50010 dfs.datanode.address，DataNode的数据传输端口 8480 dfs.journalnode.rpc-address 8481 dfs.journalnode.https-address 8032 yarn.resourcemanager.address
Spark部分：几个重要的端口汇总
热门推荐
wyqwilliam的博客
08-12 1万+
50070：HDFSwebUI的端口号 8485:journalnode默认的端口号 9000：非高可用访问数rpc端口 8020：高可用访问数据rpc 8088：yarn的webUI的端口号 8080：master的webUI，Tomcat的端口号 7077：spark基于standalone的提交任务的端口号 8081：worker的webUI的端口号 18080：histor...
Spark端口
tangfatter的博客
12-23 5436
一、4040端口 spark任务运行后，会将Driver所在机器绑定到4040端口，提供当前任务的监控页面。 此端口号默认为4040，展示信息如下： 调度器阶段和任务列表 RDD大小和内存使用情况 环境信息 正在运行的executors的信息 演示如下： 通过spark的java接口启动spark SparkConf sc = new SparkConf(); // 创建一个SpakrConf对象用于配置Spark sc.setAppName("name") // 设定程序名字
spark端口
weixin_34096182的博客
04-17 868
为什么80%的码农都做不了架构师？>>> ...
spark默认端口
weixin_42487706的博客
04-23 4163
8080：master的webUI，sparkwebUI的端口 7077：提交任务的端口 8081：worker的webUI的端口 18080：historyServer的webUI的端口 4040：application的webUI的端口
Hadoop原理与技术Spark操作实验
05-24
（1）输入start-all.sh启动hadoop相应进程和相关的端口号 （2）启动Spark分布式集群并查看信息 （3）网页端查看集群信息 （4）启动spark-shell控制台 1：local模式启动 2：登录master服务器，在集群模式下启动 （5）...
hadoop-spark配置文档1
08-08
【Hadoop Spark 配置详解】 在分布式计算领域，Hadoop 和 Spark 是两个重要的组件，它们共同构建了一个高效、可扩展的数据处理框架。本篇主要介绍如何配置 Hadoop 和 Spark 环境，确保这两个组件能够协同工作。 一...
Mac M1搭建hadoop+spark集群教程
YIU
03-25 8799
最近一直在搞Mac虚拟机，尝试了parallel、vmware、utm，感觉效果都不是很好，踩了了很多很多坑，parallel破解直接劝退我，并且也不是很稳定；wmware for m1刚开始装了一次挺不错的，但是因为我集群磁盘太小扩展磁盘大小的时候，系统就这样崩了，不管最后怎么装都没有用；最后我转战utm，刚开始因为不熟悉utm也踩了很多坑，弃了一段时间，vmware实在装不了了，我又来找utm了【utm yyds 轻便又好用又不花钱（后续发现的问题是容易闪退），推荐mac m1用户使用】。 ps：建议u
大数据Hadoop、Spark、ZooKeeper、Flume、Azkaban、HBase、Storm、Flink、Spark组件常用端口笔记
qq_44813644的博客
04-03 1238
大数据Hadoop、Spark、ZooKeeper、Flume、Azkaban、HBase、Storm、Flink、Spark组件常用端口笔记大数据Hadoop组件常用端口9000端口是与NameNode进行RPC通信的端口50070端口 Active NameNode Web页面50090端口 Secondary NameNode HDFS Web页面50010 50075端口 DataNode...
Spark重要端口号
大黄的博客
09-13 4385
对于搞大数据开发的人来说，一些常用的端口号还是必须要记住的，这里列举几个常用的端口号（不限于spark）. 50070： HDFS webUI的端口。 18080：spark HistoryServer的webUI的端口。 8080：spark master的webUI端口，同时也是Tomcat的端口。 8081： Flink master的webUI端口，同时也是spark worker的webUI端口。 2181：zookeeper的rpc（Remote Procedure Call）端口。
Hadoop-Spark几个重要的端口汇总
someInNeed的博客
06-30 1930
50070：HDFSwebUI的端口号 8485:journalnode默认的端口号 9000：非高可用访问数rpc端口 8020：高可用访问数据rpc 8088：yarn的webUI的端口号 8080：master的webUI，Tomcat的端口号 7077：spark基于standalone的提交任务的端口号 8081：worker的webUI的端口号 18080：histor...
spark端口实验总结：
ningyanggege的博客
01-25 754
Spark的端口总结 Master节点的web端口是8080,work节点的web端口是8081       spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口（比如:Tomcat）时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1,也可以自行设置,修改方法: 1、cd $SPARK_HOME/sbin 2、vi...
spark常见端口号
Peanut的博客
09-18 8963
1）Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888） 2）Spark Master Web端口号：8080（类比于Hadoop的NameNode Web端口号：9870(50070)） 3）Spark Master内部通信服务端口号：7077 （类比于Hadoop（高版本）的8020(9000)端口） 4）Spark查看当前Spark-shell运行任务情况端口号：4040 5）Hadoop YARN任务运行情况查看端口号：8088 ...
大数据之 Spark 常用的端口号
代妈炼金术师
01-19 2003
7077，这是 Spark 在 Standalone 模式下的主节点（Master）与 Worker 节点通信的服务端口，客户端提交应用时也会连接此端口。：18080，历史服务器提供已完成作业的持久化存储和查询功能，用户可以在此端口下查看过去运行过的所有 Spark 应用的相关统计信息。：默认为 8080，但这个端口可能会根据实际情况自动调整或手动配置，用户可以通过该端口查看集群的总体状态和各个应用程序的信息。：默认情况下，Worker 的 Web UI 端口可能不是固定的，通常会是。
Spark常用端口号
mischen520的博客
06-05 3793
1）Spark查看当前Spark-shell运行任务情况端口号：4040 2）Spark Master内部通信服务端口号：7077 （类比于Hadoop的8020（9000）端口） 3）Spark Standalone模式Master Web端口号：8080（类比于Hadoop YARN任务运行情况查看端口号：8088） 4）Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888） ...
04-spark常用端口号
huaxing_ba的博客
12-05 1500
spark常用端口号
spark常用端口号总结
最新发布
weixin_47740650的博客
06-18 414
Spark查看当前Spark-shell运行任务情况：4040。Hadoop历史服务器端口号：19888。Spark历史服务器端口号：18080。端口号用来定位软件服务；ip号用来定位主机位置。
spark master 占用8080，手动指定特定端口
上海菁数信息技术
01-03 4081
vim spark的conf路径/sbin/start-master.sh 原来有如下一行： if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then   SPARK_MASTER_WEBUI_PORT=8080 fi 将8080改为你所希望启动的端口号如8089或者其他 start-master.sh 启动master进程（或者sbin/sta
Spark-Yarn模式|配置历史服务|运行流程|端口号总结
SmallScorpion
04-16 1953
解压改名 tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module/ mv spark-2.1.1-bin-hadoop2.7/ spark-yarn 修改hadoop配置文件/opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任...
Hadoop、Hive、HBase与Spark组件端口大全：防火墙必备指南
2. **Hive和Spark端口**： - Hive服务的端口未在部分列出，但通常Hive Server2监听9083端口供客户端连接。 - Spark则依赖YARN进行任务调度，其组件的端口可能因版本不同而略有差异，但核心组件如Resource Manager...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

学亮编程手记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值