大数据生态与spark简介

大数据生态与spark简介

大数据生态

大数据（BigData）是指无法在一定时间内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率、多样化的信息资产。
由IBM提出的大数据的五个特征（5V）：Volume(大量)、Velocity（高速）、Variety（多样）、Value（价值）、Veracity（真实性）。
大数据的核心是Hadoop生态系统，Hadoop 是大量工具集合是一个数据管理系统。

大数据生态(BigData Ecology)。网络化数据社会与现实社会的有机融合、互动以及协调，形成大数据感知、管理、分析与应用服务的新一代信息技术架构和良性增益的闭环生态系统。

Spark

什么是Spark？

Spark最初由美国加州大学伯克利分校的AMP实验室于2009年开发，是基于内存计算机的大数据并行计算框架，可用于构建大型的、低延的数据分析应用程序。

spark的特点：

1. 运行速度快：使用DAG执行引擎以支持循环数据流与内存计算
2. 容易使用：支持使用Scala、Java、和R语言进行编程，可以使用Spark Shell 进行交互式编程。
3. 通用性：spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和算图组件。
4. 运行模式多样：可运行于独立的集群模式中，可运行于Hadoop中，也可运行于AmazonEC2等云环境中，并且可以访问HDFS77、Cassandra、HBase、Hive等多种数据。