大数据开发、架构工程师面试(一)

本文主要探讨了Hadoop大数据开发中的关键组件Namenode,详细介绍了其在文件系统管理中的角色,包括元数据管理和与Datanode的交互。此外,还提及了HDFS的数据安全性保证策略。同时,文章提到了在Hive与HBase集成过程中遇到的扫描性能问题,以及大数据分析业务从离线到实时的演进路径。
摘要由CSDN通过智能技术生成

1、hadoop 工作原理(最常见的问题):
    a.首先 概括里面的角色(HDFS 、Mapreduce)
    b.讲解各个角色的整体架构

    HDFS:


    概念:
    分布式文件系统,用于海量数据存储。
      架构:
          master/slave 架构 :1个Namenode和多个Ddatanode。
        工作原理:

          Namenode:(项目管理)

Namenode是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表, 接收用户的操作

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值