本文深入探讨了Hadoop分布式系统的核心——HDFS和MapReduce。HDFS为海量数据提供存储，MapReduce则负责计算。文章对比了MapReduce与关系型数据库在处理大数据上的优缺点，并详细阐述了Hadoop的分布式计算特性及设计目标。同时，介绍了Hadoop生态系统中的关键项目，如HDFS、MapReduce、Hive和HBase。
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
一、关系型数据库和MapReduce
数据库系统只更新一部分记录，比mapreduce有优势。但是，如果更新大量数据时，效率就要比mapreduce低很多，因为需要使用“排序/合并”来重建数据库。mapreduce比较适合以批处理方式处理需要分析整个数据集的问题；而RDBMS适用于“点查询”和更新，数据集被索引后，数据库系统能够提供低延迟的数据检索和快速的少量数据更新。mapreduce适合一次写入，多次读取数据的应用，而关系型数据库更适合持续更新的数据集。
另一个区别在于它们所操作的数据集的结构化程度。结构化数据
订阅专栏 解锁全文
扫一扫
1078
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
