一、Hadoop
Hadoop是一个分布式系统基础架构
本质是:分布式文件系统(HDFS) + 分布式计算框架(MapReduce) + 调度系统Yarn搭建起来的分布式大数据处理框架
HDFS-分布式文件系统:用来数据存储
MapReduce-分布式运算编程框架:用来数据计算
YARN(分布式资源调度系统):用来资源调度
二、Hive
基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供HQL查询功能,能将SQL语句转变成MapReduce任务来执行
三、Hbase
HBase是一个分布式的、面向列的开源数据库、HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。
四、Spark
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS
五、关系
数据存储层:Hbase,HDFS
数据分析层:MapReduce、Spark、Hive
大数据学习第一篇
于 2023-07-07 17:43:53 首次发布