大数据常用端口号及配置文件

已于 2022-09-08 19:28:56 修改
阅读量1.2k 收藏 5
点赞数 1
分类专栏： 大数据 文章标签： 大数据 hdfs hadoop
于 2022-08-23 09:53:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45973211/article/details/126478712
版权

一、常用端口

1、Hadoop3.x：

  • HDFS NameNode内部常用端口：8020/9000/9820
  • HDFS NameNode对用户的查询端口：9870
  • HDFS DataNode对用户的查询端口：9864
  • YARN查看任务运行情况的端口：8088
  • 历史服务器：19888

2、Hadoop2.x：

  • HDFS NameNode内部通常端口：8020/9000
  • HDFS NameNode对用户的查询端口：50070
  • HDFS DataNode对用户的查询端口：50075
  • YARN查看任务运行情况的端口：8088
  • 历史服务器：19888

3、Zookeeper

  • 客户端连接端口（监听客户端连接的端口）：2181

4、Kafka

  • 默认服务端口：9092

5、HBase

  • Master访问端口号（通过远程端口）：16000
  • Master的Web访问端口：16010

二、常用的配置文件

1、Hadoop3.x：

  • core-site.xml
  • hdfs-site.xml
  • yarn-site.xml
  • mapred-site.xml
  • works

2、Hadoop2.x：

  • core-site.xml
  • hdfs-site.xml
  • yarn-site.xml
  • mapred-site.xml
  • slaves

3、Kafka

  • server.properties
qq_45973211
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
redis中修改配置文件中的端口号 密码方法
12-16
windows中 1.找到redis文件的位置, 编辑redis.windows.conf, 将端口号改成8888 2.打开cmd, 重启启动(带配置文件的启动) 3.连接测试 liunx下 1.找到redis的安装位置,例如我的是 /usr/local/redis, 找到redis.conf 2. 查找port 修改端口号, 查找requirepass修改密码(密码修改把前面注释打开) 3.修改端口,密码 4.重启 /usr/local/redis/bin/redis-server /usr/local/redis/redis.conf 注:如果redis已经启动了, 要先停
hadoop3.x\2.x常用端口,和常用配置文件
市民景先生
04-19 3313
常用端口号 hadoop3.x HDFS NameNode 内部通常端口：8020/9000/9820 HDFS NameNode 对用户的查询端口：9870 Yarn查看任务运行情况：8088 历史服务器：19888 hadoop2.x HDFS NameNode 内部通常端口：8020/9000 HDFS NameNode 对用户的查询端口：50070 Yarn查看任务运行情况：8088 历史服务器：19888 常用配置文件 3.x core-site.xml...
大数据常用端口及服务启动命令
奇迹虎虎的博客
02-19 1912
大数据常用端口&服务启动命令，启动hadoop、yarn、zookeeper、hbase、hive、saprk、hase、kafka等等...
Hadoop 3.x 笔记（配置、命令、脚本、重要图示、代码实现）
ZZay's
03-30 2551
Hadoop 3.x 笔记 作者： Zzay 目的： 本文章记录 hadoop 3.x 使用过程中常用的配置、命令、脚本、重要图示、实现代码，以方便未来查看使用。 1. 常用配置 1.1 端口号 以下是Hadoop 3.x常用的端口号。 NameNode HTTP UI 端口：9870 NameNode 内部通信端口：8020/9000/9820 Secondary NameNode：9868 YARN 查看执行任务端口（ResourceManager）：8088 历史服务器通信端口（jobHi
Hadoop之常用端口号
m0_67393828的博客
09-06 1720
HDFS NameNode 对用户的查询端口：9870，经常查看目录信息，如下图，刚刚上传了两个lzo文件。
Hadoop3.x
weixin_43329173的博客
10-18 465
Hadoop 重点内容： 1、重点理解Hadoop的优势（需结合Hadoop的组成） 2、了解Hadoop 三大发行版本 3、熟练掌握Hadoop环境搭建（需回顾Linux\Shell命名） 4、完全分布式运行模式 > xsync 集群分发脚本 > ssh无密登录配置(必须配置，重点记忆) 课上笔记： 1、大数据可以做什么？ 解决海量数据的采集、存储和分析计算问题 （TB、PB、EB） 补充了解： 分布式存储（同一数据源多地存储） 分布式计算（多人共同完成一个计算） 2、大数据特点4v 3
hadoop 3.x常用端口
web13985085406的博客
04-03 2644
分类 应用 端口 namenode rpc-address 8020 namenode http-address 9870 namenode https-address 9871 datanode address 9866 datanode http-address 9864 datanode https-address 9865 resourcemanager http-address 8088
hadoop3.x——历史服务器
wake_up_42的博客
09-02 1658
配置历史服务器，及测试历史服务器是否配置成功。
Hadoop常见端口号及配置文件
2301_76522810的博客
05-10 1580
3.5 Hadoop 2.x和Hadoop 3.x的区别之处在于：slaves（Hadoop 2.x）/workers（Hadoop 3.x）2）Spark Master Web端口号：8080（类比于Hadoop的NameNode Web端口号：9870(50070)）3）Spark Master内部通信服务端口号：7077 （类比于Hadoop（高版本）的8020(9000)端口）Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888）
Hadoop学习-常用端口和配置文件
HaveAGoodDay428的博客
02-21 1206
面试题，hadoop
大数据平台端口号列表
01-19
文章中列出了大数据生态系统中hadoop hive hbase spark等组件的端口列表，用于声场环境的防火墙配置
常用端口号
10-13
经常用到的一些端口号。记不住就写下来呀。简单的很，多多记忆就好了
高德车机导航自动配置端口文件
02-24
直接下载该文件后拷贝到高德导航的文件夹就可以，支持win ce 5 6 都支持
常用端口号及用途一览表
05-05
常用端口号对照表
ES集群分布式查询原理
最新发布
weixin_53676834的博客
04-30 283
当新增文档时，应该保存到不同分片，保证数据均衡，那么coordinating node如何确定数据该存储到哪个分片呢？2）对id做hash运算，假如得到的是2，则应该存储到shard-2。3）shard-2的主分片在node3节点，将数据路由到node3。5）同步给shard-2的副本replica-2，在node2节点。6）返回结果给coordinating-node节点。1）新增一个id=1的文档。
云计算知识点-02
lv785的博客
04-27 1205
DataNode是HDFS文件系统的工作节点，DataNode会按照客户端或者是NameNode的调度来存储和检索数据，并定期向NameNode发送它所存储的数据块列表，DataNode是文件系统中真正存储数据的地方。通过这种虚拟化可以减少服务器的数量，提高服务器的使用效率，可以在一定程度上摆脱物理上的空间限制，实现随时随地随需的自由掌控。Glance(镜像服务组件)，其作用是：提供虚拟机镜像的存储，查询和检索功能，为nova进行服务，依赖于存储服务（存储镜像本身）和数据库服务（存储镜像相关的数据）。
Impala系统架构理解
weixin_64881847的博客
04-26 489
这些执行任务的Impalad实例会根据查询的执行计划，直接在HDFS上读取数据并进行计算。用于跟踪Impala集群中所有Impalad实例的健康状态和位置信息，确保Impala能够了解集群中各个Impalad的状态，从而能够选择合适的Impalad来执行查询任务。这也就意味着一个Impalad进程可能不仅作为协调者分发任务，还可能作为接受者接收并执行来自其他Impalad的任务，这取决于集群的负载和任务的分布。，以便选择最靠近数据所在DataNode的那个节点上的Impalad来执行任务。
哪些情况下左联接的数据量比左表大？
Java/Python/大数据干货分享
04-26 362
本文主要探讨SQL和Pandas左连接数据量比左表大的问题。在某些情况下，执行左连接时，SQL和Pandas输出的结果会比左表数据量大。这是为什么呢？左连接是关系型数据库中最常见的连接之一。它的作用是从左表中取出所有的行，以及与右表匹配的所有行。如果某个行在右表中没有匹配到，则会在输出结果中以NULL的形式呈现1）左表与右表为一对多或多对多2）左表与右表关联键都存在空值NULL1）视情景删除或聚合右表中重复关联键的数据2）过滤表中关联键值为NULL的行。
中国移动发布国内领先的大云磐石DPU芯片速率达400Gbps
csdnsqst0046的博客
04-30 75
后续，磐石DPU芯片将广泛应用于中国移动数据中心建设，以其优越性能，支撑通用计算、智能计算等业务场景使用，为云计算、边缘计算、大数据处理、AI大模型训练等领域提供更加安全、可靠、高效的技术支撑，助力我国大数据、人工智能、算力网络高速发展，推动算力强国战略落地。4月28日，中国移动在其2024算力网络大会上正式发布大云磐石DPU，该芯片带宽达到400Gbps，为国内领先水平，将应用于移动云新一代大云磐石DPU产品，实现关键技术自主可控。据介绍，DPU是一种专注于数据处理的处理器，可实现更高效的数据处理。
各服务的端口号和配置文件
03-26
这个问题很难一概而论，因为不同的服务可能有不同的端口号和配置文件，而且在不同的操作系统和发行版中可能也有所不同。 以下是一些常见服务的端口和配置文件： 1. Apache Web Server：端口号为80或443（HTTPS），...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值