大数据生态系统(Hadoop)的组成部分

HDFS (分布式文件存储)

管理者:NameNode

​作用:负责管理,管理集群内各个节点。负责管理整个文件系统的元数据(描述数据的索引),名字空间,目录树的维护

工作者:DataNode

​作用:负责工作,进行读写数据。 周期向NameNode汇报。

​负责管理用户的文件数据块.

辅助者:SecondaryNameNode

​作用:责辅助NameNode管理工作。

辅助namenode管理元数据信息

MapReduce (离线数据计算框架)
Yarn (集群资源调度)

管理者:ResourceManager

工作者:NodeManager

​HDFS使用场景:海量数据的存储

​HDFS可用的总容量是集群中所有节点的综合,HDFS目录下的数据在任何一个节点都可以使用或访问
​hdfs中默认的数据块切分大小是128M,128只是一个数据切分的分界线,若上传数据超过128M,那 么对数据 进行切分。若小于128,有多大上传多大,数据块就是多大。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据生态系统是由多个组件构成的,这些组件相互之间通过数据的传输和处理进行连接,共同实现大数据的处理和分析。其中,hadoop生态系统大数据生态系统中的一个重要组成部分hadoop生态系统的鱼骨图主要可以分为以下几个组件: 1. HDFS(Hadoop分布式文件系统):HDFS是hadoop生态系统中的分布式文件系统,它能够将大规模数据存储在集群的各个机器上,并提供高可靠性和高吞吐量的数据访问。 2. MapReduce:MapReduce是hadoop生态系统中的一种编程模型,用于处理大规模数据的并行计算。通过将任务分解为多个子任务,并在分布式环境中进行计算和结果的合并,MapReduce能够高效地处理大数据。 3. YARN(Yet Another Resource Negotiator):YARN是hadoop生态系统中的资源管理和作业调度框架,它负责分配集群中的计算资源,并协调各个作业的执行。YARN的出现使得hadoop生态系统能够同时运行多个并发作业,提高了系统的利用率和效率。 4. HBase:HBase是hadoop生态系统中的分布式非关系型数据库,它基于HDFS构建,具有高可靠性、高可扩展性和高性能的特点。HBase能够存储海量的结构化和半结构化数据,并支持快速的随机读写操作。 5. Hive:Hive是hadoop生态系统中的数据仓库工具,它提供了类似于SQL的查询语言,使得用户可以通过简单的SQL语句来查询和分析存储在hadoop集群中的数据。Hive的优势在于它能够将复杂的查询转化为MapReduce任务,从而实现对大规模数据的高效处理。 总之,hadoop生态系统的鱼骨图展示了其不同组件之间的关系和作用。通过理解和分析这些组件,可以更好地掌握和应用hadoop生态系统,实现对大数据的有效处理和分析。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值