课堂笔记(一)
大数据生态与Spack简介
一、大数据生态
1.大数据产生方式的变革
运维式系统阶段、用户原创内容阶段、感知式系统阶段(广泛使用)。
2.大数据概念
大数据不仅是数据的“大量化”,而是包含“快速化”、“多样化”和“价值化”等多重属性。
3.大数据的特点
1)数据量大
a 以每年50%的速度增长,每两年增长一倍;
b 近两年生产的数据相当于之前产生的全部;
c 预计2020年,全球拥有35ZB的数据量。
2)处理速度快
a 从数据生成到消耗,时间窗口小,可用于生成决策时间少;
b 1秒定律。
3)价值密度低,商业价值高
4.大数据的影响
思维:全样而非抽样、效率而非精确、相关而非因果
5.大数据的功能
数据采集、数据存储和管理、数据处理与分析、数据隐私和安全
6.两大核心技术
1)分布式存储 GFS/HDFS bigTable/HBase NoSQL NewSQL
2) 分布式处理 MapReduce
7.计算模式
批处理计算、流计算、图计算、查询分析计算
8.代表性大数据技术
1)Hadoop 离线处理 —>Apache
2)Spark 批处理—>Apache
3)Flink 速度快 单位:流
4)Beam 平台 (方便开发)
二、Spack 简介
1.Spack最初开发
2009年UC Berkeley 的AMP实验室,是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序。
2.成绩
2013年Spark加入Apache项目;
2014年打破Hadoop保持的基准排序记录。
3.特点
1)运行速度快:使用DAG执行;
2)容易使用;
3)通用性;
4)运行模式多样:运行于独立的集群模式。
4.Spack构架图
Spack Core
/ | |
Spack SQL Spack MLlib GrraphX
Streaming (机器学习) (图)
(流)
5.Spack与Hadoop的对比
1)Spark计算机模式也属于MapReduce,但不局限于Map和Reduce操作,还提供了多种数据级操作类型,编程类型比Hadoop MapReduce 更灵活;
2)Spack提供了内存计算,可将中间结果放到内存中,对于迭代运算效率更高,避免了从磁盘中频读数据;
3)Spack基于D A G的任务调度执行机制,优于Hadoop MapReduce(迭代计算耗资源)。