2021-02-27

课堂笔记（一）
大数据生态与Spack简介

一、大数据生态

1.大数据产生方式的变革
运维式系统阶段、用户原创内容阶段、感知式系统阶段（广泛使用）。

2.大数据概念
大数据不仅是数据的“大量化”，而是包含“快速化”、“多样化”和“价值化”等多重属性。

3.大数据的特点
1）数据量大
a 以每年50%的速度增长，每两年增长一倍；
b 近两年生产的数据相当于之前产生的全部；
c 预计2020年，全球拥有35ZB的数据量。
2）处理速度快
a 从数据生成到消耗，时间窗口小，可用于生成决策时间少；
b 1秒定律。
3）价值密度低，商业价值高

4.大数据的影响
思维：全样而非抽样、效率而非精确、相关而非因果

5.大数据的功能
数据采集、数据存储和管理、数据处理与分析、数据隐私和安全

6.两大核心技术
1）分布式存储 GFS/HDFS bigTable/HBase NoSQL NewSQL
2） 分布式处理 MapReduce

7.计算模式
批处理计算、流计算、图计算、查询分析计算

8.代表性大数据技术
1）Hadoop 离线处理 —>Apache
2）Spark 批处理—>Apache
3）Flink 速度快 单位：流
4）Beam 平台 （方便开发）

二、Spack 简介

1.Spack最初开发
2009年UC Berkeley 的AMP实验室，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。

2.成绩
2013年Spark加入Apache项目；
2014年打破Hadoop保持的基准排序记录。

3.特点
1）运行速度快：使用DAG执行；
2）容易使用；
3）通用性；
4）运行模式多样：运行于独立的集群模式。

4.Spack构架图
Spack Core
/ ｜ ｜
Spack SQL Spack MLlib GrraphX
Streaming （机器学习） （图）
（流）

5.Spack与Hadoop的对比
1）Spark计算机模式也属于MapReduce，但不局限于Map和Reduce操作，还提供了多种数据级操作类型，编程类型比Hadoop MapReduce 更灵活；
2）Spack提供了内存计算，可将中间结果放到内存中，对于迭代运算效率更高，避免了从磁盘中频读数据；
3）Spack基于D A G的任务调度执行机制，优于Hadoop MapReduce（迭代计算耗资源）。