2021-02-28

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据 不仅仅是数据的“大量化”，而是包含“快速化”、“多样化”和“价值化”等多重属性。
大数据的特点：数据量大、数据类型繁多、处理速度快、价值密度低。代表性大数据技术Hadoop、Spark、Flink、BeamSpark是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。Spark主要特点：运行速度快，容易使用，通用性，运行模式多样。Spark主要具有如下优点：Spark的计算模式也属于MapReduce，但不局限于Map和Reduce操作，还提供了多种数据集操作类型，编程模型比Hadoop MapReduce更灵活Spark提供了内存计算，可将中间结果放到内存中，对于迭代运算效率更高Spark基于DAG的任务调度执行机制，要优于Hadoop MapReduce的迭代执行机制