Hadoop生态圈
1、概述
Hadoop:是一个适合大数据分布式存储和分布式计算的平台,包括HDFS、MapReduce和YARN。
2、HDFS
HDFS:是一个分布式文件系统。
3、MapReduce
MapReduce是一个分布式、并行处理的编程模型。
4、YARN
是一个分布式资源管理系统,主要负责整个系统的资源管理和调度。
Spark生态圈
spark的特点:
1.运行速度快
2.易用性好
3.通用性强
4.随处运行
下图是hadoop生态系统,集成spark生态圈。在未来一段时间内,hadoop将于spark共存,hadoop与spark
都能部署在yarn、mesos的资源管理系统之上
与Spark的对比
因为Map Reduce有以下缺点:
- 代码繁琐;
- 只能够支持map和reduce方法;
- 执行效率低下;
- 不适合迭代多次、交互式、流式的处理
而Spark的优点正好弥补了MapReduce的缺点:
- 批处理(离线):MapReduce、Hive、Pig
- 流式处理(实时): Storm、JStorm
- 交互式计算:Impala
解释结构化数据和非结构化数据
1.结构化数据:即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。
2.非结构化数据:不方便用数据库二维逻辑表来表现的数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。
解释冷备,热备和温备
1.冷备(离线备份):在数据库停止时进行备份。
2.热备(在线备份):在数据库运行时直接备份,对数据库操作没有任何影响。
3.温备:在数据库运行时加全局读锁备份,保证了备份数据的一致性,但对性能有影响。