认识Spark

1.认识Spark

Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。

2.Spark与Hadoop MapReduce的对比

Spark基于内存，中间数据存放于内存中。

Hadoop MapReduce基于磁盘，中间数据存放于HDFS中。

3.结构化数据和非结构化数据

结构化数据：即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。

非结构化数据：不方便用数据库二维逻辑表来表现的数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。 

4.Spark的应用场景

1.Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。

2.由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用。

3.数据量不是特别大，但是要求实时统计分析需求。

例如腾讯，雅虎，阿里巴巴都在使用Spark。