大数据框架常用端口号总结

已于 2024-09-17 20:31:45 修改
阅读量231 收藏
点赞数 7
分类专栏： 大数据 文章标签： 大数据 big data hadoop spark flink kafka
于 2024-09-17 20:30:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/White_Ink_/article/details/142318322
版权
框架组件端口
HadoopNameNode (HDFS)50070 (Hadoop 2.x) / 9870 (Hadoop 3.x)
DataNode (HDFS)50075 (Hadoop 2.x) / 9864 (Hadoop 3.x)
ResourceManager (YARN)8088, 8032
NodeManager (YARN)8042, 8040
HBaseHMaster16010, 16000
RegionServer16030, 16020
Zookeeper2181
HiveHiveServer210000
Hive Metastore9083 (如果启用)
SparkSpark Master8080
Spark Worker8081
Spark History Server18080
FlinkJobManager Web UI8081
JobManager RPC6123
TaskManager RPC6121
TaskManager Data Exchange6122
BlobServer6124
Query Server8089
Zookeeper客户端连接2181
选举端口3888
集群通讯端口2888
KafkaBroker9092
Kafka Connect REST API8083
Zookeeper2181
ElasticsearchREST API9200
Transport Client9300
FlumeAgent41414
OozieOozie Server11000
PrestoCoordinator8080
Worker8080
AmbariWeb UI8080
Apache AirflowWeb UI8080
DruidCoordinator8081
Overlord8081
Broker8082
北_鱼
关注
专栏目录
大数据常用端口汇总
东城庞太师
06-29 1004
所有端口协议均基于TCP HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端口 HDFS DataNode 50475 dfs.datanode.https.address https服务的端口 HDFS DataNode 50020 dfs.datanode.ipc.address ipc服务的端口 HDFS Nam.
大数据常见端口汇总
weixin_44328257的博客
08-15 1125
RPC允许本地程序像调用本地方法一样调用远程计算机上的应用程序，其使用常见的网络传输协议（如TCP或UDP）传递RPC请求以及相应信息，使得分布式程序的开发更加容易。7077 ： spark 的master与worker进行通讯的端口 standalone集群提交Application的端口。60010：CDH的master的WEB UI端口 60030：CDH的regionServer的WEB UI 管理端口。16010：Apache的master的WEB UI端口。...
大数据中常用端口号总结
程序员小菜鸡Cjp的博客
07-18 1065
常用端口汇总 Hadoop常用端口 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： 高可用模式ZKFC端口 19888：jobhistory WEB UI端口 Hive常用端口 9083 : metastore服务默认监听端口 10000 : Hive 的JDBC端口，工作中也可能是10001
大数据-常用端口说明
weixin_44894162的博客
08-25 548
大数据-常用端口说明。
大数据技术原理与应用：期末考点总结
热门推荐
weixin_44263764的博客
02-18 1万+
个人期末复习材料，根据林子雨的大数据技术教材与其它资料整理。 第一章 大数据概述 1.大数据的4v特征 数据量大 volume 价值密度低 value 数据类型繁多 variety 处理速度快 velocity 2.大数据3种思维方式的转变 在思维方式方面，大数据完全颠覆了传统的思维方式： 全样而非抽样 效率而非精确 相关而非因果 3.大数据两大核心技术 分布式存储和分布式处理   4.大数据计算模式及其代表产品 大数据计算模式 解决问题 代表产品 批处理计算 针对大规
大数据之Hadoop知识点总结
qq_17555249的博客
08-12 686
Hadoop 的组成 Hadoop HDFS:一个高可靠、高吞吐量的分布式文件系统 Hadoop MapReduce：一个分布式的离线并行计算框架 Hadoop Yarn：作业调度系统与集群管理框架 Hdoop Common：支持其他模块的工具模块。 下面我们首先来阐述环境搭建之后开始逐一的回顾上述模块的知识。 Hadoop 的环境搭建 将虚拟机的网络模式切换到NAT 克隆多台虚拟机 修改虚拟机静态ip 1、在终端命令窗口输入下面代码： vim /etc/udev/rules.d/70-pe.
04-大数据技术之高频面试题9.0.5.pdf
04-14
#### 1.2.1 Hadoop 常用端口号 - **NameNode**: 50070 (HTTP界面) - **DataNode**: 50075 (HTTP界面) - **SecondaryNameNode**: 50090 (HTTP界面) - **ResourceManager**: 8088 (HTTP界面) #### 1.2.2 Hadoop 配置...
【运维监控】Prometheus+grafana监控zookeeper运行情况
alanchanchn的专栏
09-11 1340
通过zookeeper自带的监控信息暴露出来，然后将数据收集到prometheus中，最后通过grafana的dashboard导入模板进行可视化
【Elasticsearch系列六】系统命令API
最新发布
檀越的博客
09-16 954
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨。
flink增量检查点启动恢复的时间是很久的，业务上不能接受，怎么处理
goTsHgo的博客
09-11 1025
针对增量检查点恢复时间长的问题，可以从多个方面进行优化，包括合并检查点、提升存储性能、优化 RocksDB 配置、并行化恢复过程等。同时，也可以考虑替代方案，如多活架构、预热恢复、降低状态依赖和改进状态管理策略。此外，在业务层面上，适当调整业务容忍度和提高用户透明度也是有效的应对措施。通过综合应用这些策略，可以有效地降低恢复时间并提高业务的连续性和可靠性。
从AI到大数据，数字技术服务平台全栈赋能企业升级
smjt2024的博客
09-11 655
海量的数据中蕴含着丰富的信息和价值，数字技术服务平台能够收集、整理和分析这些数据，为企业提供精准的市场洞察和决策支持。企业可以通过参加树莓集团举办的培训课程和研讨会，了解最新的数字技术趋势和应用案例，提升自身的数字技术水平。从技术咨询、解决方案设计到系统实施和运维，数字技术服务平台为企业提供一站式的服务，让企业无需担心技术难题，专注于自身的核心业务。树莓集团的数字技术服务平台，以其先进的技术、专业的服务和丰富的经验，为企业提供了全栈赋能。在数字时代，让我们共同利用数字技术服务平台，开启企业升级的新篇章。
消息中间件有哪些常见类型
weixin_57763462的博客
09-15 561
需要注意的是，这些类型并不是严格互斥的，有些消息中间件可能支持多种消息传递模式或结合了多种类型的特点。在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。在发布/订阅模型中，消息被发布到特定的主题（Topic）上，所有订阅了该主题的消费者都可以接收到这个消息。消息代理是一种更通用的概念，它涵盖了上述的点对点和发布/订阅模型，以及可能的其他消息传递模式。消息代理作为消息的存储和转发中心，负责消息的路由、过滤、持久化等功能。这类消息系统使用日志结构来存储消息，提供了极高的吞吐量和可扩展性。
大数据-132 - Flink SQL 基本介绍 与 HelloWorld案例
永远好奇，无限进步！
09-12 2419
Flink SQL 是 Apache Flink 提供的一种高层次的查询语言接口，它基于 SQL 标准，为开发者提供了处理流式数据和批处理数据的能力。Flink SQL 允许用户使用标准 SQL 查询语言在数据流和数据表上执行复杂的操作，适用于多种应用场景，如实时分析、数据流处理、机器学习等。Flink SQL 的一大特点是流处理和批处理的统一性。通过同一套 SQL 语法，用户可以同时处理静态数据（批处理）和动态数据（流处理）。这使得应用程序的开发更加简化，因为可以用相同的逻辑编写实时流数据处理和历史数据的
【大数据】探索怎么从一段话中解析关键信息（寄件人相关信息）
一个不断前行的程序者
09-12 595
通过使用Spacy的NLP功能，我们成功实现了从文本中提取姓名、地址和电话号码的功能。需要注意的是，这个简单的示例可能在处理复杂文本时效果不佳，实际应用中可能需要进一步的优化和训练。此外，对于电话号码的识别，我们简单地使用了数字长度作为判断依据，这并不准确。在实际应用中，我们可以使用正则表达式来更准确地识别电话号码。希望这个博客能够帮助你了解如何使用NLP技术实现文本信息解析功能。如果有任何疑问，欢迎在评论区留言讨论！
测试-Testcontainers
Flying_Fish_roe的博客
09-12 628
Testcontainers 允许你通过自定义 Docker 容器，适用于不在官方支持列表中的服务或应用。// 获取 Redis 的地址和端口 String address = redis . getHost();} } }// 获取 Redis 的地址和端口 String address = redis . getHost();} } }// 获取 Redis 的地址和端口 String address = redis . getHost();} } }
海量数据查找最大K个值：数据结构与算法的选择
许你安然的博客
09-13 1088
本文详细探讨了如何在海量数据集中查找最大的K个值，从基础的排序方法到高效的优先队列/堆方法，再到分布式计算框架的应用，以及一些优化策略。通过合理的数据结构和算法选择，我们可以大大提高处理大数据集的效率，确保在有限的时间内获得所需的结果。希望这些信息能够帮助开发者在实际项目中更好地应对大数据处理挑战。
SuperMap GIS基础产品FAQ集锦(20240911)
SuperMap技术控
09-12 3392
SuperMap GIS基础产品FAQ集锦(20240911)
Hadoop如何进行分布式存储和处理大数据？
oOBubbleX的博客
09-12 1546
Hadoop是一个开源的分布式系统基础架构，它由多个组件组成，这些组件协同工作，以支持大规模数据集的存储和处理。本文是Hadoop如何进行分布式存储和处理大数据的详细说明：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值