大数据生态与spark简介

一.大数据生态
1.概念：大数据（BigData）简单来说就是一个巨量数据的集合，但又不仅仅是数据的大量化，还包含了快速化，多样化，价值化等
2.特征：大数据有五大特征
①.VOLUME(大)：数据的采集，计算，存储量都非常的庞大
②.VARIETY(多)：种类和来源多样化。种类有：结构化、半结构化和非结构化数据等，常见的来源有：网络日志、音频、视频、图片等等。
③.VALUE(价值)：数据价值密度相对较低，犹如浪里淘金，百炼成钢般才能获取到大量信息中的部分有价值的信息
④.VELOCITY(快)：数据增长速度快，处理速度也快，获取数据的速度也要快
⑤.VERACITY(信)：数据信息不是拿到就有用，可信度不高的信息在多也没用，数据的准确性和可信赖度，即数据的质量也是大数据重要的特征
3.大数据四大关键技术

4.大数据四大代表性技术：Hadoop，Spark，Flink，Beam。

二.Spark
Spark:Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架
Spark使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集。
Spark特点：
1.运行速度快：使用DAG执行引擎以支持循环数据流与内存计算。
2.易操作使用：支持使用Scala、Java、Python和R语言进行编程，可以通过Spark Shell进行交互式编程。
3.通用性强：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件。
4.运行模式多样性：可运行于独立的集群模式中，可运行于Hadoop中，也可运行于Amazon EC2等云环境中，并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源 。