2021-03-03

大数据生态与Spark介绍

大数据生态

首先先了解一下大数据（big data）概念
大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据不仅仅是数据的**“大量化”（volume），而是包含“快速化”（velocity），“多样化”（variety），和“价值化”(value)**等多重属性。

大数据生态：网络化数据社会与现实社会的有机融合、互动以及协调，形成大数据感知、管理、分析与应用服务的新一代信息技术架构和良性增益的闭环生态系统。

Spark是什么？

• Spark，是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等。
• Spark主要用于大数据的计算，而Hadoop以后主要用于大数据的存储（比如HDFS、Hive、HBase等），以及资源调度（Yarn）。
• Spark+Hadoop的组合，是未来大数据领域最热门的组合，也是最有前景的组合！

Spark介绍

Spark是当前热门的大数据处理技术，Spark支持采用Scala、Java、Python和R语言进行编程。

主要特点：

• 运行速度快：使用DAG执行引擎以支持循环数据流与内存计算。
• 容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过Spark Shell进行交互式编程 。
• 通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件。
• 运行模式多样：可运行于独立的集群模式中，可运行于Hadoop中，也可运行于Amazon EC2等云环境中，并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源 。

Spark架构图