Hadoop生态圈

从狭义上来说,Hadoop就是指Apache Hadoop项目所包含的软件。从广义上来说,Hadoop是指大数据的一个生态圈,包括很多其它的软件框架。

HDFS是Hadoop体系中数据存储管理的基础,它是一个分布式文件系统。

       MapReduce是面向大型数据处理的并行计算模型和方法,仅适合离线数据处理。

       YARN就是通用资源管理系统,为上层应用提供统一资源管理调度。

       HBase是一个建立在HDFS之上,面向列的针对结构化和半结构化数据的可伸缩、高可靠、高性能、分布式的动态数据库。

       Hive是一种数据仓库技术,用于查询和管理存储在分布式环境下的大数据集,通常用于离线分析。

       Kafka是一种高吞吐量的分布式消息系统,它主要用于处理活跃的流式数据。

       Sqoop主要用于传统关系型数据库和Hadoop之间传输数据。

       Flume是开源的海量日志收集系统。

       Spark是开源的类MapReduce的通用并行计算框架,在内存中运行时速度很快。

       Storm是开源的一个分布式的、容错的实时处理系统,适合流处理和连续计算。

       Oozie是用于Hadoop 平台的一种工作流调度引擎,用于协调多个Hadoop作业的执行。

       Azkaban是开源的一个批量工作流任务调度器,用于在一个工作流内以一个特定的顺序运行一组工作和流程。

       Mahout是一个开源的数据挖掘算法库。

       ZooKeeper是一个分布式数据管理和协调框架,能够保证分布式环境中数据的一致性,是Hadoop组件的一个监管系统。

                                                                                                              郑州新思齐科技有限公司

                                                                                                                            王亚辉

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值