大数据学习第一篇

一、Hadoop
Hadoop是一个分布式系统基础架构
本质是：分布式文件系统(HDFS) + 分布式计算框架(MapReduce) + 调度系统Yarn搭建起来的分布式大数据处理框架
HDFS-分布式文件系统：用来数据存储
MapReduce-分布式运算编程框架：用来数据计算
YARN（分布式资源调度系统）：用来资源调度
二、Hive
基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供HQL查询功能，能将SQL语句转变成MapReduce任务来执行
三、Hbase
HBase是一个分布式的、面向列的开源数据库、HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。
四、Spark
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS
五、关系
数据存储层：Hbase,HDFS
数据分析层：MapReduce、Spark、Hive