Spark基本简介

大数据特征：

1）大量化（Volume）：存储量大，增量大 TB->PB

2）多样化（Variety）：

来源多:搜索引擎，社交网络，通话记录，传感器

格式多:(非）结构化数据，文本、日志、视频、图片、地理位置等

3）快速化（Velocity）：海量数据的处理需求不再局限在离线计算当中

4）价值密度低（Value）：但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来

大数据带来的革命性变革：

1）成本降低
2）软件容错，硬件故障视为常态
3）简化分布式并行计算

什么是Spark

一、Spark概述

1.、什么是Spark？Spark作为Apache顶级的开源项目，是一个快速、通用的大规模数据处理引擎，和Hadoop的MapReduce计算框架类似，但是相对于MapReduce，Spark凭借其可伸缩、基于内存计算等特点，以及可以直接读写Hadoop上任何格式数据的优势，进行批处理时更加高效，并有更低的延迟。

2、 Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群