Hadoop和Spark常用端口号

最新推荐文章于 2024-02-21 16:30:58 发布
最新推荐文章于 2024-02-21 16:30:58 发布
阅读量1k 收藏 1
点赞数 1
文章标签： spark hadoop 大数据 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liusuoyin/article/details/108753519
版权

Hadoop和Spark常用端口号

 大数据中Hadoop和Spark的重要性不必多言，常用端口号必须得记得死死的。
Hadoop2.x:
访问HDFS端口      50070
访问MR执行情况端口   8088
访问历史服务器     19888
客户端访问集群端口    9000
Hadoop3.x:
访问HDFS端口      9870
访问MR执行情况端口   8088
访问历史服务器     19888
客户端访问集群端口    8020
Spark：
查看当前Spark-shell 运行情况端口号 4040
Spark Master内部通信服务端口号  7077
Spark Standalone模式Web端口号  8080
Spark历史服务器端口号      18080

骑白马de图图
关注
Hadoop、Spark和Hive调优优化原理
程序员光剑
08-03 955
1995年伊藤博文等人提出了MapReduce计算框架，将海量的数据分布式地处理在多台计算机上，并通过分割输入数据集并将其划分为多个任务来并行执行计算，最后合并结果得到整体输出。然而随着互联网和大数据的普及以及处理器性能的提升，当时的技术已经远远超过了当时能够想象的范围。这段时间MapReduce计算框架已经成为一个主流的开源计算框架，包括Hadoop、Pig、Hive、Mahout、Storm等。
大数据Hadoop、Spark、ZooKeeper、Flume、Azkaban、HBase、Storm、Flink、Spark组件常用端口笔记
qq_44813644的博客
04-03 1240
大数据Hadoop、Spark、ZooKeeper、Flume、Azkaban、HBase、Storm、Flink、Spark组件常用端口笔记大数据Hadoop组件常用端口9000端口是与NameNode进行RPC通信的端口50070端口 Active NameNode Web页面50090端口 Secondary NameNode HDFS Web页面50010 50075端口 DataNode...
【Spark】Spark读取本地与hdfs文件
littlemichelle
05-24 1万+
https://zhuanlan.zhihu.com/p/26506724
Spark常用端口号
mischen520的博客
07-07 307
1）4040 spark-shell任务端口 2）7077 内部通讯端口。 类比Hadoop的8020/9000 3）8080 查看任务执行情况端口。 类比Hadoop的8088 4）18080 历史服务器。类比Hadoop的19888 注意：由于Spark只负责计算，所有并没有Hadoop中存储数据的端口50070 ...
Spark端口
tangfatter的博客
12-23 5441
一、4040端口 spark任务运行后，会将Driver所在机器绑定到4040端口，提供当前任务的监控页面。 此端口号默认为4040，展示信息如下： 调度器阶段和任务列表 RDD大小和内存使用情况 环境信息 正在运行的executors的信息 演示如下： 通过spark的java接口启动spark SparkConf sc = new SparkConf(); // 创建一个SpakrConf对象用于配置Spark sc.setAppName("name") // 设定程序名字
spark端口
weixin_34096182的博客
04-17 869
为什么80%的码农都做不了架构师？>>> ...
Spark重要端口号
大黄的博客
09-13 4390
对于搞大数据开发的人来说，一些常用的端口号还是必须要记住的，这里列举几个常用的端口号（不限于spark）. 50070： HDFS webUI的端口。 18080：spark HistoryServer的webUI的端口。 8080：spark master的webUI端口，同时也是Tomcat的端口。 8081： Flink master的webUI端口，同时也是spark worker的webUI端口。 2181：zookeeper的rpc（Remote Procedure Call）端口。
04-spark常用端口号
huaxing_ba的博客
12-05 1500
spark常用端口号
Hadoop原理与技术Spark操作实验
05-24
（1）输入start-all.sh启动hadoop相应进程和相关的端口号 （2）启动Spark分布式集群并查看信息 （3）网页端查看集群信息 （4）启动spark-shell控制台 1：local模式启动 2：登录master服务器，在集群模式下启动 （5）...
hadoop、spark、zookeeper配置大全，绝对可用
10-19
在HDFS的配置中，需要配置master和slave节点的信息，包括IP地址、端口号等。在MapReduce的配置中，也需要配置master和slave节点的信息。 其次，是配置Spark。在配置Spark时，需要配置Spark环境变量，如SPARK_HOME、...
Spark的简单安装和介绍（ Spark端口为8081）
hhhhhhhhhhhnb的博客
06-14 540
Spark简单配置
spark常见端口号
Peanut的博客
09-18 8974
1）Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888） 2）Spark Master Web端口号：8080（类比于Hadoop的NameNode Web端口号：9870(50070)） 3）Spark Master内部通信服务端口号：7077 （类比于Hadoop（高版本）的8020(9000)端口） 4）Spark查看当前Spark-shell运行任务情况端口号：4040 5）Hadoop YARN任务运行情况查看端口号：8088 ...
2024-02-21（Spark）
最新发布
cxr的博客
02-21 1171
4040：是一个运行的Application在运行的过程中临时绑定的端口，用以查看当前任务的状态。4040被占用会顺延到4041，4042等。4040是一个临时端口，当前程序运行完成后，4040就会被注销。4040和Driver相关联，一个Driver启动起来，一个4040端口就被绑定起来，并可以查看该程序的运行状态。8080：默认情况是StandAlone下，Master角色（进程）的WEB端口，用以查看当前Master（集群）的状态。（Driver和Master是两个东西，Master进程用于管理集群，
Spark学习记录1
weixin_45772744的博客
06-30 1301
Spark Core实现了 Spark 的基本功能，包含任务调度、内存管理、错误恢复、与存储系统 交互等模块。Spark Core 中还包含了对弹性分布式数据集(resilient distributed dataset，简称RDD)的 API 定义。Spark SQL是 Spark 用来操作结构化数据的程序包。通过 Spark SQL，我们可以使用 SQL 或者 Apache Hive 版本的 SQL 方言(HQL)来查询数据。Spark SQL 支持多种数据源，比 如 Hive 表、Parquet 以及
大数据运维实战第十四课 HBae 与 Hadoop 的整合应用实践
fegus的博客
08-19 333
HBase 的安装需要依赖 Hadoop 环境（主要是 HDFS 分布式文件系统），这点跟 Spark 类似。因此，需要先安装好 Hadoop 集群，可以将 HDFS 和 HBase 集群部署在一起，也可以分开部署，考虑到性能问题，一般建议将 HDFS 和 HBase 集群服务部署在一起，而 nodemanager 服务不建议和 HBase 的 RegionServer 服务放在一起，因为这两个服务可能出现争抢资源的问题。角色/主机名NameNode是是否否否DataNode否否是是。
spark master web ui 端口8080被占用解决方法
jast
07-08 905
Spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1，但为了可以控制到指定的端口，我们可以自行设置，修改方法：定位到下面部分内容： 修改上面的端口为其它可用端口就行...
Spark部分：几个重要的端口汇总
热门推荐
wyqwilliam的博客
08-12 1万+
50070：HDFSwebUI的端口号 8485:journalnode默认的端口号 9000：非高可用访问数rpc端口 8020：高可用访问数据rpc 8088：yarn的webUI的端口号 8080：master的webUI，Tomcat的端口号 7077：spark基于standalone的提交任务的端口号 8081：worker的webUI的端口号 18080：histor...
spark 几个端口
seaReal1的博客
04-25 7776
4040：每个Driver的SparkContext都会启动一个web节目，默认端口是404018080: 启动历史服务器： ./sbin/start-history-server.sh ， 日志跟目录必须在spark.history.fs.logDirectory中配置，每个子目录对应一个Spark程序的事件日志。历史服务会启动web节目，默认端口 18080...
Hadoop和Spark修改shh端口以及web监控端口
le119126的专栏
07-12 9345
SSH端口不是默认端口22 如果ssh端口不是默认的22，在etc/hadoop/hadoop-env.sh里改下。如： export HADOOP_SSH_OPTS="-p 18921"
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值