小吴Spark大数据的开始

Hadoop生态圈

1、概述

Hadoop：是一个适合大数据分布式存储和分布式计算的平台，包括HDFS、MapReduce和YARN。

2、HDFS

    HDFS：是一个分布式文件系统。

3、MapReduce

    MapReduce是一个分布式、并行处理的编程模型。

4、YARN

    是一个分布式资源管理系统，主要负责整个系统的资源管理和调度。

Spark生态圈

spark的特点：

1.运行速度快

2.易用性好

3.通用性强

4.随处运行

下图是hadoop生态系统，集成spark生态圈。在未来一段时间内，hadoop将于spark共存，hadoop与spark

都能部署在yarn、mesos的资源管理系统之上

与Spark的对比

因为Map Reduce有以下缺点：

• 代码繁琐；
• 只能够支持map和reduce方法；
• 执行效率低下；
• 不适合迭代多次、交互式、流式的处理

而Spark的优点正好弥补了MapReduce的缺点：

• 批处理（离线）：MapReduce、Hive、Pig
• 流式处理（实时）： Storm、JStorm
• 交互式计算：Impala

解释结构化数据和非结构化数据

1.结构化数据：即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。

2.非结构化数据：不方便用数据库二维逻辑表来表现的数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。 

解释冷备，热备和温备

1.冷备（离线备份）：在数据库停止时进行备份。

2.热备（在线备份）：在数据库运行时直接备份，对数据库操作没有任何影响。

3.温备：在数据库运行时加全局读锁备份，保证了备份数据的一致性，但对性能有影响。