Hadoop面试题

已于 2023-04-07 15:05:34 修改
阅读量44 收藏
点赞数
分类专栏： 大数据面试题 文章标签： hadoop hdfs big data
于 2022-05-29 10:06:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49190756/article/details/125027598
版权

1.Hadoop高可用

有2台机器，2个namenode，一个active，一个standby

有一个守护进程journalnodes，会和2个nn进行通信，当activeNN对命名空间信息修改时，会持久化到editslog上，然后standbyNN观察editslog，并更新自己的信息，保持信息和activeNN同步。

还有一个zookeeper failover controller，通过zookeeper failover controller里面的health monitor监控NN，如果activeNN挂掉了，通过zookeeper选取自动完成主备切换。

2.启动hadoop后有哪些进程

Nn,dn,2nn

Rm,nm

Journal node, zookeeper failover controller

千叶真尹
关注
专栏目录
Hadoop面试题和答案
weixin_48077282的博客
11-11 1375
Hadoop 是基于节点的扁平结构。在第一步映射作业，该作业获取一组数据并将其转换为另一组数据，在第二步中，Reduce 作业。Reducer：在 Hadoop 中，reducer 收集 mapper 生成的输出，对其进行处理，并创建自己的最终输出。可以说，NameNode 是 HDFS 文件系统的核心，负责保存文件系统中所有文件的记录，并跨集群或多台机器跟踪文件数据。它是一种特定的压缩二进制文件格式，可在一个 MapReduce 作业的输出与其他 MapReduce 作业的输入之间传递数据。
Hadoop面试题+详解
YoungITの博客
10-17 996
在Hadoop中，主动和被动NameNodes是用于提供高可用性的NameNode节点的概念。在Hadoop 2及之后的版本中，引入了NameNode HA（高可用性）机制，以解决单个NameNode节点成为单点故障的问题。该机制使用两个NameNode节点：一个是主动（Active）NameNode，另一个是被动（Standby）NameNode。当主动NameNode发生故障或需要维护时，被动NameNode会自动切换为主动状态，接管集群的管理责任。
Hadoop面试题及参考答案
热门推荐
zuolixiangfisher的博客
07-16 1万+
整理了一部分hadoop相关的面试题和参考答案，不当之处请大家指正
hadoop面试题
qq_52699757的博客
07-29 3381
hadoop和hive经典题库
hadoop面试题汇总
zhaozhifu11的博客
10-29 1542
hadoop面试题汇总 1. 说说搭建hadoop集群的3个xml文件。 答： core-site.xml：核心配置文件。 hdfs-site.xml：hdfs配置文件。 /mapred-site.xml：MapReduce配置文件。 2. 正常的hadoop集群工作都会启动哪些进程？ 答： NameNode DataNode Secondary NameNode 3. 他们的作用分别是什么？ NameNode：主节点，负责维护整个Hdfs文件系统的目录树，以及每个文件所
大数据开发（Hadoop面试真题）
key_honghao的博客
03-20 1665
HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的简称。它是一个可扩展的分布式文件系统，设计用于存储和处理大规模数据集的应用程序。高容错性：HDFS将文件划分为多个块，并在多个节点上进行复制存储，以实现数据的冗余备份。当某个节点或块发生故障时，HDFS可以自动恢复数据，保证数据的高可用性。高吞吐量：HDFS通过并行处理数据块，能够以较高的速度读取和写入数据。它适合存储大量数据，并且能够高效地进行批处理操作。适应大文件存储。
Hadoop面试题十道
qq_38151907的博客
06-14 4988
Hadoop面试题十道
hadoop面试题（大数据）（附答案）
2302_76808348的博客
05-13 3985
Hadoop是一个开源分布式计算平台架构，基于apache（阿帕奇）协议发布，由java语言开发。主要包括运行模式：单机版、伪分布式模式、完全分布式模式
Hadoop面试题汇总-20221031
pengpengsays
10-31 966
Hadoop面试题汇总
Hadoop面试题（含代码和原理讲解）
06-21
Hadoop面试题（含代码和原理讲解）Hadoop面试题（含代码和原理讲解）Hadoop面试题（含代码和原理讲解）Hadoop面试题（含代码和原理讲解）Hadoop面试题（含代码和原理讲解）Hadoop面试题（含代码和原理讲解）Hadoop...
常见Hadoop面试题
01-21
"Hadoop 面试题知识点总结" Hadoop 面试题中涵盖了 HDFS、MapReduce、Hive、HBase 等多个方面的知识点。下面是对这些知识点的详细解释： HDFS 知识点 1. HDFS 中的 block 默认保存几份？答案是 3 份。 2. 在 HDFS...
hadoop面试题大全
12-09
本文将围绕"Hadoop面试题大全"这一主题，深入解析Hadoop的相关知识点，帮助你应对面试，提升专业技能。 1. **Hadoop概述** Hadoop是一个开源的分布式计算框架，由Apache基金会开发，主要用于处理和存储海量数据。...
Hadoop HDFS命令操作实例
csdn2486的博客
09-28 802
首先检查master0、slave0虚拟机网络和java版本（”1.7.0_71”）,检查后再启动hadoop[csu@master0 hadoop-2.6.0]$ sbin/start-all.sh (启动)[csu@master0 hadoop-2.6.0]$ sbin/stop-all.sh (关闭)再检查是否启动成功1、创建HDFS目录：-p可以递归创建2、查看之前创建的HDFS目录注意：因为登录的用户为csu，所以会显示/user/csu下的目录。
大数据毕业设计选题推荐-电影数据分析系统-数据可视化-Hive-Hadoop-Spark
IT研究室的博客
10-01 760
近年来，电影产业呈现蓬勃发展态势。中国电影市场规模持续扩大，票房收入逐年攀升。据国家电影局统计，2019年中国电影总票房达642.66亿元，同比增长5.4%。尽管2020年受疫情影响，票房收入有所下降，但2021年电影市场迅速复苏，全年票房达472.58亿元。与此同时，观众对电影的品质要求不断提高，对影片类型、题材的偏好也呈现多元化趋势。在线票务平台和影评网站的普及，使得大量观影数据得以积累。这些数据不仅包含票房信息，还涵盖观众评分、评论文本等丰富内容。
大数据毕业设计选题推荐-NBA球员数据分析系统-Python数据可视化-Hive-Hadoop-Spark
最新发布
IT毕设梦工厂的博客
10-01 973
NBA作为全球最具影响力的职业篮球联盟，其数据分析在近年来受到越来越多的关注。据统计，2022-2023赛季NBA常规赛共产生1230场比赛，涉及30支球队和数百名球员，每场比赛平均产生超过400个数据点。这些海量数据涵盖了得分、篮板、助攻等常规统计，以及进阶数据如真实命中率、使用率等。NBA官方数据显示，2022年有超过10亿粉丝通过各种渠道关注NBA赛事，其中数据分析内容的需求量年增长率超过20%。然而，面对如此庞大的数据资源，传统的数据处理方法难以应对其复杂性和动态性。
WPF入门教学二十三 自定义控件开发
Life is not divided
09-28 413
自定义控件提供了更高级的功能，允许开发者继承并扩展WPF框架中的现有控件。完成自定义控件的开发后，可以在其他WPF项目中引用并使用它。
Hadoop面试题答案详解：核心概念与实践
Hadoop面试题答案涵盖了Hadoop框架的基础知识和面试过程中常见的问题。首先，面试者可能会被问及HDFS（Hadoop Distributed File System）的核心组件及其功能。在HDFS中，DataNode负责实际的数据存储，它是分布式存储...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值