Spark:计算引擎,框架媒介,调用配置所处位置下的机器的硬件设施来实现调用配置。使用内存来存储数据,运算快,断电丢失。对应于Hadoop圈中的MapReduce
Hbase:分布式、面向列的数据库,存储和读取媒介,来源于BigTable(一个结构化数据的分布式存储系统),但HBase是一个非结构化数据存储的数据库。是Hadoop项目的子项目
非结构化、面向列、稀疏
Hadoop:分布式系统基础框架,管理者。MapReduce使用硬盘存储数据
Storm:流式实时计算框架,实时处理大数据流。不同于Hadoop和Spark,Storm

本文介绍了大数据生态圈中的关键组件,包括Spark、Hbase、Hadoop和Storm。Spark作为计算引擎,以其快速运算和内存存储特性区别于Hadoop的MapReduce。Hbase是一个面向列的分布式数据库,适合非结构化数据存储。Hadoop则是分布式系统的基础框架。Storm则专注于实时流式计算。此外,还讨论了大数据的结构化和非结构化数据,以及分布式计算和服务器集群的重要性。
最低0.47元/天 解锁文章
2万+

被折叠的 条评论
为什么被折叠?



