大数据存储与处理技术之Spark

1、Spark简介

• Spark最初由美国加州伯克利大学（UC Berkeley）的AMP实验室于2009年开发，是基于 内存 计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序

• 2013年Spark加入Apache孵化器项目后发展迅猛，如今已成为Apache软件基金会最重要的分布式计算系统开源项目之一

• Spark在2014年打破了Hadoop保持的基准排序纪录

• Spark用十分之一的计算资源，获得了比Hadoop快3倍的速度

Spark具有如下几个主要特点：

•运行速度快：使用DAG执行引擎以支持循环数 据流与内存计算

•容易使用：支持使用Scala、Java、Python和 R语言进行编程，可以通过Spark Shell进行交互式编程

•通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件

•运行模式多样：可运行于独立的集群模式中可运行于Hadoop中（YARN），也可运行于Amazon EC2等云环境中，并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源

2、Scala简介

Scala是一门现代的多范式编程语言，同时融合了函数式编程风格和面向对象的编程风格，运行于Java平台（JVM，Java 虚拟机），并兼容现有的Java程序。

Scala的特性：

•Scala具备强大的并发性，支持函数式编程，集成了面向对象和函数式编程两种风格，可以更好地支持分布式系统

•Scala语法简洁，能提供很好的API

•Scala兼容Java，运行速度快，且能融合到Hadoop生态圈中

        ➢ Scala是Spark的主要编程语言，但Spark还支持Java、Python、R作为编程语言

        ➢ Scala的优势是提供了REPL（Read-Eval-Print Loop，交互式解释器），提高程序开