2021-03-03

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据的五大特征：1、大量；2、高速；3、多样；4、低价值密度；5、真实性。由结构化和非结构化数据组成。
两大核心技术分别是分布式存储、分布式处理
Hadoop缺点：①表达能力有限,②磁盘IO开销大, 延迟高,③任务之间衔接设计IO开销在之前一个任务执行完成之前，其他任务 就无法开始难以胜任
Hadoop两大核心：HDFS和MapReduce
Spark使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集。
spark的特点：
①更快的速度（内存计算下，Spark 比 Hadoop 快100倍。）
②通用性（Spark 提供了大量的库，包括Spark Core、Spark SQL、Spark Streaming、MLlib、GraphX。 开发者可以在同一个应用程序中无缝组合使用这些库。）
③易用性（Spark 提供了80多个高级运算符。）
④支持多种资源管理器（Spark 支持 Hadoop YARN，Apache Mesos，及其自带的独立集群管理器）