hadoop spark端口整理

最新推荐文章于 2024-01-19 15:43:45 发布
最新推荐文章于 2024-01-19 15:43:45 发布
阅读量349 收藏
点赞数 1
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a772304419/article/details/112789748
版权 
50070：HDFSwebUI的端口号

8485:journalnode默认的端口号

9000：非高可用访问数rpc端口

8020：高可用访问数据rpc

8088：yarn的webUI的端口号

8080：master的webUI，Tomcat的端口号

7077：spark基于standalone的提交任务的端口号

8081：worker的webUI的端口号

18080：historyServer的webUI的端口号

4040：application的webUI的端口号

2181：zookeeper的rpc端口号

9083：hive的metastore的端口号

60010：Hbase的webUI的端口号

6379：Redis的端口号

8080：sparkwebUI的端口号

9092：kafka broker的端口
学亮编程手记
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hadoop原理与技术Spark操作实验
05-24
（1）输入start-all.sh启动hadoop相应进程和相关的端口号 （2）启动Spark分布式集群并查看信息 （3）网页端查看集群信息 （4）启动spark-shell控制台 1：local模式启动 2：登录master服务器，在集群模式下启动 （5）...
04-spark常用端口号
huaxing_ba的博客
12-05 1436
spark常用端口号
Spark部分：几个重要的端口汇总
热门推荐
wyqwilliam的博客
08-12 1万+
50070：HDFSwebUI的端口号 8485:journalnode默认的端口号 9000：非高可用访问数rpc端口 8020：高可用访问数据rpc 8088：yarn的webUI的端口号 8080：master的webUI，Tomcat的端口号 7077：spark基于standalone的提交任务的端口号 8081：worker的webUI的端口号 18080：histor...
Spark基础知识
Yubingx的博客
11-12 159
Spark基础知识 一、Spark概叙 spark是一个基于内存计算并且快速、通用、可扩展的集群计算引擎 spark目前是Apache最活跃的开源项目 二、Spark特点 快速性：基于内存计算，比MapReduce快一百倍 通用性：提供了大量的类库, 包括 SQL 和 DataFrames, 机器学习(MLlib), 图计算(GraphicX), 实时流处理(Spark Streaming)，可以把这些类库无缝的柔和在一个 App 中；它还结合了SQL, Streaming和复杂分析 易用性：支持 S
Spark-Yarn模式|配置历史服务|运行流程|端口号总结
SmallScorpion
04-16 1858
解压改名 tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module/ mv spark-2.1.1-bin-hadoop2.7/ spark-yarn 修改hadoop配置文件/opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任...
spark常见端口号
Peanut的博客
09-18 8704
1）Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888） 2）Spark Master Web端口号：8080（类比于Hadoop的NameNode Web端口号：9870(50070)） 3）Spark Master内部通信服务端口号：7077 （类比于Hadoop（高版本）的8020(9000)端口） 4）Spark查看当前Spark-shell运行任务情况端口号：4040 5）Hadoop YARN任务运行情况查看端口号：8088 ...
Hadoop原理与技术Spark Streaming操作实验
05-24
Hadoop环境 Jdk1.8 三、实验内容 （一）Spark Streaming处理套接字流 1：编写处理套接字流的java程序代码 2：导入缺失的jar包 3：把java程序导出为jar包 4：start-all.sh，启动所有进程，并查看情况 5：启动Spark...
大数据平台端口号列表
01-19
文章中列出了大数据生态系统中hadoop hive hbase spark等组件的端口列表，用于声场环境的防火墙配置
Python+Spark+Hadoop实现的大数据基于用户画像电影推荐系统+源代码+文档说明+sql文件
11-13
Python+Spark+Hadoop大数据基于用户画像电影推荐系统设计 程序开发软件： Pycharm + Python3.7 + Django网站 + pyspark大数据分析 + Hadoop平台 数据库： Mysql5.6，Redis 本系统是以Django作为基础框架，采用MTV...
大数据集群端口故障详解
11-22
大数据相关组件的端口故障解析,如何测试端口是否是通的？ 2.端口是否被暂用? 3.端口是否被打开?
Hadoop-Spark几个重要的端口汇总
someInNeed的博客
06-30 1879
50070：HDFSwebUI的端口号 8485:journalnode默认的端口号 9000：非高可用访问数rpc端口 8020：高可用访问数据rpc 8088：yarn的webUI的端口号 8080：master的webUI，Tomcat的端口号 7077：spark基于standalone的提交任务的端口号 8081：worker的webUI的端口号 18080：histor...
Spark重要端口号
大黄的博客
09-13 4269
对于搞大数据开发的人来说，一些常用的端口号还是必须要记住的，这里列举几个常用的端口号（不限于spark）. 50070： HDFS webUI的端口。 18080：spark HistoryServer的webUI的端口。 8080：spark master的webUI端口，同时也是Tomcat的端口。 8081： Flink master的webUI端口，同时也是spark worker的webUI端口。 2181：zookeeper的rpc（Remote Procedure Call）端口。
Spark常用端口号
mischen520的博客
06-05 3561
1）Spark查看当前Spark-shell运行任务情况端口号：4040 2）Spark Master内部通信服务端口号：7077 （类比于Hadoop的8020（9000）端口） 3）Spark Standalone模式Master Web端口号：8080（类比于Hadoop YARN任务运行情况查看端口号：8088） 4）Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888） ...
大数据之 Spark 常用的端口号
最新发布
代妈炼金术师
01-19 1023
7077，这是 Spark 在 Standalone 模式下的主节点（Master）与 Worker 节点通信的服务端口，客户端提交应用时也会连接此端口。：18080，历史服务器提供已完成作业的持久化存储和查询功能，用户可以在此端口下查看过去运行过的所有 Spark 应用的相关统计信息。：默认为 8080，但这个端口可能会根据实际情况自动调整或手动配置，用户可以通过该端口查看集群的总体状态和各个应用程序的信息。：默认情况下，Worker 的 Web UI 端口可能不是固定的，通常会是。
Spark端口
tangfatter的博客
12-23 5259
一、4040端口 spark任务运行后，会将Driver所在机器绑定到4040端口，提供当前任务的监控页面。 此端口号默认为4040，展示信息如下： 调度器阶段和任务列表 RDD大小和内存使用情况 环境信息 正在运行的executors的信息 演示如下： 通过spark的java接口启动spark SparkConf sc = new SparkConf(); // 创建一个SpakrConf对象用于配置Spark sc.setAppName("name") // 设定程序名字
启动spark集群时两个worker节点异常：failed to launch: nice -n 0 spark-class --webui-port 8081 spark://master:7077
one111a的博客
08-06 2265
之前出现这个错的时候，在网上google了好久，没解决，后来看到有人说在root用户下的 .bashrc下引入JAVA_HOME的路径，也有大佬说需要在/spark/sbin/spark-config.sh 加入JAVA_HOME的路径，我在/spark/sbin/spark-config.sh里加入JAVA_HOME的路径后，在运行就不报错了，可供参考 ...
搭建大数据平台常用的端口号
weixin_53299145的博客
09-24 182
7077：spark基于standalone的提交任务的端口号。18080：historyServer的webUI的端口号。8080：master的webUI，Tomcat的端口号。4040：application的webUI的端口号。9083：hive的metastore的端口号。8081：worker的webUI的端口号。60010：Hbase的webUI的端口号。50070：HDFSwebUI的端口号。8088：yarn的webUI的端口号。8080：sparkwebUI的端口号。
Spark集群搭建时的踩得坑
haoren1994的博客
11-08 3431
启动时 192.168.5.176: failed to launch: nice -n 0 /usr/spark/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://server178:7077 192.168.5.176: at java.lang.Class.ge...
spark默认端口
weixin_42487706的博客
04-23 4100
8080：master的webUI，sparkwebUI的端口 7077：提交任务的端口 8081：worker的webUI的端口 18080：historyServer的webUI的端口 4040：application的webUI的端口
hadoop(hdfs、yarn、hbase、hive和spark等)默认端口表
06-28
### 回答1： Hadoop是一个由Apache基金会开源的大数据处理框架，包含多个组件，每个组件都有默认的端口号。下面是hadoop各组件的默认端口表： 1. HDFS（Hadoop分布式文件系统）： - NameNode端口：50070 - SecondaryNameNode端口：50090 - DataNode端口：50075 2. YARN（Hadoop资源调度系统）： - Resource Manager Web界面：8088 - ResourceManager Scheduler端口：8030 - ResourceManager通信端口：8031 - Node Manager通信端口：8040 - Node Manager Web界面：8042 3. HBase（Hadoop数据库）： - Master端口：16000 - Master Web界面：16010 - RegionServer端口：16020 - RegionServer Web界面：16030 4. Hive（Hadoop数据仓库工具）： - HiveServer2端口：10000 - JDBC服务端口：10001 - Web界面端口：9999 5. Spark（分布式计算框架）： - Master Web界面：8080 - Master通信端口：7077 - Worker通信端口：8581 需要注意的是，这些端口都是默认设置，如果其中某些端口已被占用，需要修改配置文件中的端口号，并重启对应的服务。 ### 回答2： Hadoop是一个由Apache基金会开发的，用于分布式存储和处理大数据的开源软件框架。它主要包括HDFS、YARN、HBase、Hive和Spark等组件。这些组件在使用过程中，都会使用到一些默认端口。下面我来逐一介绍这些组件的默认端口表。 1. HDFS： HDFS是Hadoop的分布式文件系统，它用于存储海量的数据。它的默认端口是8020和50070。 - 8020：这是HDFS的RPC端口，用于处理与客户端的请求。 - 50070：这是HDFS的Web服务端口，用于向用户展示文件系统的整体状态。 2. YARN： YARN是Hadoop的资源管理系统，可以让用户在一个集群中运行各种应用程序。它的默认端口是8088和8030。 - 8088：这是YARN的Web服务端口，用于向用户展示集群整体的状态。 - 8030：这是YARN的RPC端口，用于处理与客户端的请求。 3. HBase： HBase是非关系型数据库，主要用于存储海量的结构化数据。它的默认端口是2181和16010。 - 2181：这是ZooKeeper服务的默认端口，HBase需要使用ZooKeeper来进行协调和管理。 - 16010：这是HBase的Web服务端口，用于向用户展示集群整体的状态。 4. Hive： Hive是一种基于Hadoop的数据仓库工具，可以让用户将结构化数据映射到Hadoop上进行分析。它的默认端口是10000。 - 10000：这是Hive的Thrift服务端口，用于与客户端进行交互。 5. Spark： Spark是一种快速而通用的计算引擎，可以支持Hadoop以外的数据处理。它的默认端口是7077和8080。 - 7077：这是Spark的Master的RPC端口，用于管理集群资源。 - 8080：这是Spark的Web服务端口，用于向用户展示集群整体的状态。 以上就是Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表，希望对大家了解Hadoop组件默认端口有所帮助。 ### 回答3： Hadoop是一个分布式计算框架，由HDFS、Yarn、HBase、Hive和Spark等组件构成。每个组件都有不同的功能和默认端口。以下是Hadoop各组件的默认端口表： 1. HDFS HDFS是Hadoop分布式文件系统，用于存储和管理大规模数据集。默认端口是9000。 2. Yarn Yarn是Hadoop的资源管理器，用于分配集群中的资源以及管理作业。默认端口是8088。 3. HBase HBase是一个非关系型数据库，用于存储海量数据并提供实时随机读写操作。默认端口是16010。 4. Hive Hive是一个数据仓库工具，用于处理大规模数据集。默认端口是10000。 5. Spark Spark是一个快速、通用的大数据处理引擎，主要用于数据处理和机器学习。默认端口是7077。 以上是Hadoop各组件的默认端口表，当然也可以根据配置文件进行修改。在使用Hadoop时，需要注意端口的使用和防火墙配置，确保能够正常地访问和使用各组件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

学亮编程手记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值