大数据面试--Hadoop以及Spark常用端口号

最新推荐文章于 2024-05-05 16:50:29 发布
最新推荐文章于 2024-05-05 16:50:29 发布
阅读量356 收藏
点赞数
分类专栏： 面试 文章标签： spark hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44516261/article/details/108749581
版权

Hadoop常用端口号
hdfs        mapreduce    历史服务器   内部通信端口
9870        8088            19888            9820
50070      8088            19888            9000


Spark端口号                                
local模式           ：    spark-shell    4040

standalone模式：        
    查看任务运行情况         8080（该端口号和zookeeper的AdminServer端口号冲突，后面可以自行修改）
    历史服务器端口号        18080
    内部通信端口                7077    
                                
 

bu想起名字
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据Hadoop实战篇
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-04 7102
大数据Hadoop实战，10分钟带你入门Hadoop，手把手教你搭建分布式集群系统
Hadoop-Spark几个重要的端口汇总
someInNeed的博客
06-30 1920
50070：HDFSwebUI的端口号 8485:journalnode默认的端口号 9000：非高可用访问数rpc端口 8020：高可用访问数据rpc 8088：yarn的webUI的端口号 8080：master的webUI，Tomcat的端口号 7077：spark基于standalone的提交任务的端口号 8081：worker的webUI的端口号 18080：histor...
大数据-Spark常见面试题
qq_49071908的博客
08-20 688
Spark常见面试题 1、什么是宽依赖，什么是窄依赖？哪些算子是宽依赖，哪些是窄依赖？ 窄依赖就是一个父RDD分区对应一个子RDD分区，如map，filter 或者多个父RDD分区对应一个子RDD分区，如co-partioned join 宽依赖是一个父RDD分区对应非全部的子RDD分区，如groupByKey，ruduceByKey 或者一个父RDD分区对应全部的子RDD分区，如未经协同划分的join https://www.jianshu.com/p/736a4e628f0f 2、Transformat
Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表
pinglanyinjiu的博客
06-08 929
【Hadoop】hadoop+spark配置
dominic_z的博客
03-28 5363
不是教程，教程请看http://www.cnblogs.com/zyrblog/p/8510506.html 只是个人笔记 准备材料 一台能联网的电脑 VMware 14 Centos 7 1801 64bit 我还是喜欢centos多一些，old fashion，好吧其实是装了一次ubuntu发现里面缺的东西有点多，ifconfig，vim都没有还得自己安，烦 jdk-8u191-linux-...
Hadoop和Spark常用端口号
liusuoyin的博客
09-23 968
Hadoop和Spark常用端口号  大数据中Hadoop和Spark的重要性不必多言，常用端口号必须得记得死死的。 Hadoop2.x: 访问HDFS端口      50070 访问MR执行情况端口   8088 访问历史服务器     19888 客户端访问集群端口    9000 Hadoop3.x: 访问HDFS端口      9870 访问MR执行情况端口   8088 访问历史服务器     19888 客户端访问集群端口    8020 Spark： 查看当前Spark-shell 运行情况端
大数据面试经验之Hadoop Spark（一）
weixin_45670338的博客
03-02 163
大数据面试经验
大数据面试（hadoop）
m0_45131615的博客
02-28 492
第3章 Hadoop基础 3.1 hadoop支持三种调度器 答： （1）先进先出的调度器：最早的 hadoop 采用的是 FIFO（默认-先进先出的）调度器调度用户提交的作业。作业按照提交的顺序被调度，作业必须等待轮询到自己才能运行。 但是考虑到公平在多用户之间分配资源，设置了作业的优先级功能，但是不支持抢占式的。 （2）公平调度器：公平调度器的目标是让每一个用户公平的共享集群能力，充分的利用闲...
超全大数据面试宝典-大数据面试有这套就够了.pdf
10-29
每个技术点都有详细的总结，如Hadoop常用端口号、HDFS的读写流程、MapReduce的Shuffle过程、Yarn的Job提交流程、Zookeeper的选举机制、Kafka的架构和监控等，这些是大数据工程师在面试中经常被问及的技术细节。...
04-大数据技术之高频面试题9.0.5.pdf
04-14
#### 1.2.1 Hadoop 常用端口号 - **NameNode**: 50070 (HTTP界面) - **DataNode**: 50075 (HTTP界面) - **SecondaryNameNode**: 50090 (HTTP界面) - **ResourceManager**: 8088 (HTTP界面) #### 1.2.2 Hadoop 配置...
2024年最全【大数据】Mac下安装hadoop-scala-spark，手把手教你5G时代Webview的正确使用姿势
最新发布
2401_84182906的博客
05-05 435
(6)配置hdfs-site.xml【修改hdfs备份数】：vim /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop/hdfs-site.xml => 添加配置。并且建立文件夹 mkdir /usr/local/Cellar/hadoop/hdfs & mkdir /usr/local/Cellar/hadoop/hdfs/tmp。5、系统环境变量~/.bash_profile，便于在任何目录下执行一些命令。,注意端口号是9870而不是50070。
【大数据】Mac下安装hadoop-scala-spark，java开发三层架构
m0_64205605的博客
11-19 1414
2、安装hadoop (1)配置ssh：ssh-keygen -t rsa   =>  一直enter  =>  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys =>  确认mac已关闭防火墙和开启远程登录(系统偏好设置下：安全与隐私=>防火墙 关闭 ；共享 => 远程登录 打钩) (2) 【一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实
hadoop 常用端口记录
qq_22478923的博客
02-20 8110
端口 用途 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-ad
Spark部分：几个重要的端口汇总
wyqwilliam的博客
08-12 1万+
50070：HDFSwebUI的端口号 8485:journalnode默认的端口号 9000：非高可用访问数rpc端口 8020：高可用访问数据rpc 8088：yarn的webUI的端口号 8080：master的webUI，Tomcat的端口号 7077：spark基于standalone的提交任务的端口号 8081：worker的webUI的端口号 18080：histor...
spark 与 hadoop的hdfs的连接（亲测有效）
热门推荐
AStar的博客
04-03 1万+
出处：：http://blog.csdn.net/oopsoom/article/details/24257981， 目前Spark的Run on的Hadoop版本大多是hadoop2以上，但是实际上各个公司的生产环境不尽相同，用到2.0以上的公司还是少数。 大多数公司还是停留在1代hadoop上，所以我就拿spark0.91 +  hadoop0.20.2-cdh3u
大数据常见端口汇总-hadoop、hbase、hive、spark、kafka、zookeeper等（持续更新）
u010476994的博客
11-30 1万+
常见端口汇总： Hadoop：         50070：HDFS WEB UI端口     8020 ： 高可用的HDFS RPC端口     9000 ： 非高可用的HDFS RPC端口     8088 ： Yarn 的WEB UI 接口     8485 ： JournalNode 的RPC端口     8019 ： ZKFC端口 Zookeeper:     2181
Spark常用端口号
mischen520的博客
07-07 298
1）4040 spark-shell任务端口 2）7077 内部通讯端口。 类比Hadoop的8020/9000 3）8080 查看任务执行情况端口。 类比Hadoop的8088 4）18080 历史服务器。类比Hadoop的19888 注意：由于Spark只负责计算，所有并没有Hadoop中存储数据的端口50070 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值