Hadoop和Spark常用端口号

最新推荐文章于 2023-05-16 13:56:41 发布
最新推荐文章于 2023-05-16 13:56:41 发布
阅读量622 收藏
点赞数
文章标签： spark hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61802230/article/details/130070316
版权

在学习大数据时，Hadoop和Spark的是十分重要的，常用端口号必须要熟练记住。

  • Hadoop2.x:
    访问HDFS端口      50070
    访问MR执行情况端口   8088
    访问历史服务器     19888
    客户端访问集群端口    9000
  • Hadoop3.x:
    访问HDFS端口      9870
    访问MR执行情况端口   8088
    访问历史服务器     19888
    客户端访问集群端口    8020
  • Spark：
    查看当前Spark-shell 运行情况端口号 4040
    Spark Master内部通信服务端口号  7077
    Spark Standalone模式Web端口号  8080
    Spark历史服务器端口号      18080
lsz冲呀
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
大数据平台端口号列表
01-19
文章中列出了大数据生态系统中hadoop hive hbase spark等组件的端口列表，用于声场环境的防火墙配置
dolphinscheduler配置
07-13
在安装Dolphinscheduler后，你需要配置`conf/dolphinscheduler-config.properties`文件，这包括数据库连接信息（如MySQL）、服务器地址、端口号等。确保所有参数正确无误，特别是数据库连接，因为Dolphinscheduler会...
Spark常用端口号
mischen520的博客
07-07 291
1）4040 spark-shell任务端口 2）7077 内部通讯端口。 类比Hadoop的8020/9000 3）8080 查看任务执行情况端口。 类比Hadoop的8088 4）18080 历史服务器。类比Hadoop的19888 注意：由于Spark只负责计算，所有并没有Hadoop中存储数据的端口50070 ...
Spark端口
tangfatter的博客
12-23 5369
一、4040端口 spark任务运行后，会将Driver所在机器绑定到4040端口，提供当前任务的监控页面。 此端口号默认为4040，展示信息如下： 调度器阶段和任务列表 RDD大小和内存使用情况 环境信息 正在运行的executors的信息 演示如下： 通过spark的java接口启动spark SparkConf sc = new SparkConf(); // 创建一个SpakrConf对象用于配置Spark sc.setAppName("name") // 设定程序名字
spark端口
weixin_34096182的博客
04-17 864
为什么80%的码农都做不了架构师？>>> ...
Spark重要端口号
大黄的博客
09-13 4324
对于搞大数据开发的人来说，一些常用的端口号还是必须要记住的，这里列举几个常用的端口号（不限于spark）. 50070： HDFS webUI的端口。 18080：spark HistoryServer的webUI的端口。 8080：spark master的webUI端口，同时也是Tomcat的端口。 8081： Flink master的webUI端口，同时也是spark worker的webUI端口。 2181：zookeeper的rpc（Remote Procedure Call）端口。
Hadoop原理与技术Spark操作实验
05-24
（1）输入start-all.sh启动hadoop相应进程和相关的端口号 （2）启动Spark分布式集群并查看信息 （3）网页端查看集群信息 （4）启动spark-shell控制台 1：local模式启动 2：登录master服务器，在集群模式下启动 （5）...
Hadoop原理与技术SparkSQL操作实验
05-24
（1）输入start-all.sh启动hadoop相应进程和相关的端口号 （2）启动Spark分布式集群并查看信息 （3）网页端查看集群信息 （4）启动spark-shell控制台 （5）访问http://localhost:4040可以看到spark web界面 （6）...
Spark2.4.3集群部署
09-14
* 编辑spark-default.conf文件，配置Spark集群的参数，包括Master 节点的IP 地址和端口号 2. Worker 节点配置 Worker 节点是Spark集群的计算节点，负责执行计算任务。Worker 节点的配置包括： * 将Master 节点的...
04-spark常用端口号
huaxing_ba的博客
12-05 1475
spark常用端口号
spark-3.3.2（Standalone）集群安装-大数据学习系列（三）
最新发布
zhenwudi的专栏
05-16 1108
链接: https://pan.baidu.com/s/1-GAeyyDOPjhsWhIp_VV7yg?链接: https://pan.baidu.com/s/1y-yXZCQdmlssdMNMpFlqnw?切换到k8s-node1、k8s-node2 验证是否安装成功。01-spark（Standalone）集群安装。切换到k8s-node1机器上操作(分发环境)1.1 在集群（各机器上都执行！2.1切换到k8s-master执行。2.2切换到k8s-node1执行。切换到k8s-master执行。
大数据运维实战第十四课 HBae 与 Hadoop 的整合应用实践
fegus的博客
08-19 305
HBase 的安装需要依赖 Hadoop 环境（主要是 HDFS 分布式文件系统），这点跟 Spark 类似。因此，需要先安装好 Hadoop 集群，可以将 HDFS 和 HBase 集群部署在一起，也可以分开部署，考虑到性能问题，一般建议将 HDFS 和 HBase 集群服务部署在一起，而 nodemanager 服务不建议和 HBase 的 RegionServer 服务放在一起，因为这两个服务可能出现争抢资源的问题。角色/主机名NameNode是是否否否DataNode否否是是。
spark master web ui 端口8080被占用解决方法
jast
07-08 878
Spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1，但为了可以控制到指定的端口，我们可以自行设置，修改方法：定位到下面部分内容： 修改上面的端口为其它可用端口就行...
spark 几个端口
seaReal1的博客
04-25 7755
4040：每个Driver的SparkContext都会启动一个web节目，默认端口是404018080: 启动历史服务器： ./sbin/start-history-server.sh ， 日志跟目录必须在spark.history.fs.logDirectory中配置，每个子目录对应一个Spark程序的事件日志。历史服务会启动web节目，默认端口 18080...
大数据常见端口汇总-hadoop、hbase、hive、spark、kafka、zookeeper等（持续更新）
热门推荐
u010476994的博客
11-30 1万+
常见端口汇总： Hadoop：         50070：HDFS WEB UI端口     8020 ： 高可用的HDFS RPC端口     9000 ： 非高可用的HDFS RPC端口     8088 ： Yarn 的WEB UI 接口     8485 ： JournalNode 的RPC端口     8019 ： ZKFC端口 Zookeeper:     2181
spark web UI端口 4040,18080， 8080页面访问不了
AntKengElephant的博客
01-29 1万+
  ip:4040无法访问时spark history server未启动或者暂时无spark任务运行 启动命令： 在主节点spark_home/sbin ./start-history-server.sh 注意：4040端口显示的是正在运行的spark任务，一旦任务运行完成或者没有任务运行，4040端口是无法访问的 ip:18080无法访问时spark history server未...
SparkCore基础（一）
weixin_30629977的博客
01-12 271
* SparkCore基础（一） 学习Spark，首先要熟悉Scala，当然你说你会Python或者Java能不能玩Spark？能！但是不推荐，首推Scala，因为Scala非常便捷，而且Scala有非常好的交互式编程体验（当然了，在这里，Python也不差）。其次呢，我们要对Hadoop的MapReduce要是有一定的了解。不然，学习起来，是会稍微费点功夫。好，不扯这么多了，相关的故事啊，...
spark端口作用配置及修改
qq_30868737的博客
12-18 7673
spark端口作用配置及修改 Master节点的web端口是8080 仅在 standalone模式使 配置方式在spark-env.sh加一行 export SPARK_MASTER_WEBUI_PORT=8080 work节点的web端口是8081 配置方式在spark-env.sh加一行 export SPARK_WORKER_WEBUI_PORT=8081 Master通信端口是707...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值