2021-03-05

大数据生态与spark简介

大数据的四个 v特点
一、Volume：数据量大，包括采集、存储和计算的量都非常大。
二、Variety：种类和来源多样化。包括结构化、半结构化和非结构化数据，
三、Value：数据价值密度相对较低，随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低
四、Velocity：数据增长速度快，处理速度也快，时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法尽可能要求实时完成推荐。

spark简介
是基于内存计算的大数据并行计算框架，可用于构建大型的，低延迟的数据分析应用程序。

spark. 特点
1.运行速度快：
2易用性强。
3.通用性强：
4.运行模式多样

大数据技术包括
Hadoop，spark.， Flink，Beam
Flink目前速度最快