MapReduce、YARN、Pig、Spark、HBase简单介绍

最新推荐文章于 2021-10-25 21:03:14 发布

cici9811

最新推荐文章于 2021-10-25 21:03:14 发布

阅读量617

点赞数

文章标签： hadoop spark

本文链接：https://blog.csdn.net/cici9811/article/details/116156520

版权

本文是《Hadoop权威指南》阅读笔记，对比了关系型数据库与MapReduce，介绍了YARN的应用，探讨了Pig与数据库的比较，阐述了Apache Hive作为数据仓库在Hadoop上的角色，详细讲解了Spark的分布式计算框架优势，特别是其RDD概念。同时，概述了HBase——一个面向列的分布式数据库，强调其在大规模数据实时访问中的作用，以及与ZooKeeper的集成关系和ZooKeeper在分布式协调服务中的重要性。

摘要由CSDN通过智能技术生成

–Hadoop权威指南阅读笔记

1、关系型数据库与MapReduce的比较：

	RDBMS	MapReduce
数据大小	GB	PB
数据存取	交互式和批处理	批处理
更新	多次读/写	一次写入，多次读取
事物	ACID	无
结构	写时模式	读时模式
完整性	高	低
横向扩展	非线性的	线性的

MapReduce是一种可用于数据处理的编程模型。MapReduce程序本质上是并行运行的，可以将大规模的数据分析任务分发给任何一个拥有足够多机器的数据中心

2、关于YARN

Apache YARN（Yet Another Resource Negotiator）是Hadoop的集群资源管理系统。YARN最初被引入Hadoop2是为了改善MapReduce的实现，但其具有足够的通用性，可以支持其他分布式计算模式。
YARN提供请求和使用集群资源的API，但这些API很少直接用于用户代码，用户代码中使用的是建立在YARN之上的分布式计算框架提供的更高层API。一些分布式计算框架（MapReduce、Spark等）作为YARN应用运行在集群计算层（YARN）和集群存储层&#