2021-03-03

今日份分享！
大数据生态和Spark简介
一、什么是大数据？
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
大数据的五大特征：1、大量；2、高速；3、多样；4、低价值密度；5、真实性
二、大数据生态：
大数据生态(BigData Ecology)。网络化数据社会与现实社会的有机融合、互动以及协调，形成大数据感知、管理、分析与应用服务的新一代信息技术架构和良性增益的闭环生态系统。
三、Spark:
Spark是基于内存计算的大数据并行计算框架可用于计算大型的.低延迟的数据分析应用程序。
Spark的特点：
1、运行速度快：使用DAG执行引擎以支持循环数据流与内存计算
2、容易使用：支持使用scala、Java、Python和R语言进行编程，可以通过Spark Shell进行交互式编程
3、通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件
4、运行模式多样：可运行于独立的集群模式中，可运行于Hadoop中，也可运行于Amazon EC2等云环境中，并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源
四、相比于Hadoop MapReduce，Spark主要具有如下优点：

1、Spark的计算模式也属于MapReduce，但不局限于Map和Reduce操作，还提供了多种数据集操作类型，编程模型比Hadoop MapReduce更灵活
2、Spark提供了内存计算，可将中间结果放到内存中，对于迭代运算效率更高
3、Spark基于DAG的任务调度执行机制，要优于Hadoop MapReduce的迭代执行机制