2021-02-28

大数据生态与Spark

一、1. - 大数据的概念：大数据不仅仅是数据的“大量化”，而是包含“快速化”、“多样化”和“价值化”等多重属性。
2. 数据量大：1.根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律）2.人类在最近两年产生的数据量相当于之前产生的全部数据量 3.预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍。
3. 数据类型繁多：
大数据是由结构化和非结构化数据组成的
科学研究–基因组–LHC 加速器–地球与空间探测企业应用–Email、文档、文件–应用日志–交易记录Web 1.0数据–文本–图像–视频Web 2.0数据–查询日志/点击流–Twitter/ Blog / SNS–Wiki
4. 处理速度快：从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少； 1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同。
5. 价值密度低，商业价值高 以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒，但是具有很高的商业价值。
2 - 大数据的影响： 图灵奖获得者、著名数据库专家Jim Gray 博士观察并总结人类自古以来，在科学研究上，先后历经了实验、理论、计算和数据四种范式。
在思维方式方面，大数据完全颠覆了传统的思维方式：全样而非抽样效率而非精确相关而非因果。
3大数据关键技术：
分布式储存，分布式处理。
二：Spark的简介：Spark最初由美国加州大学伯克利分校（UC Berkeley）的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序2013年Spark加入Apache孵化器项目后发展迅猛，如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一（Hadoop、Spark、Storm）Spark在2014年打破了Hadoop保持的基准排序纪录Spark/206个节点/23分钟/100TB数据Hadoop/2000个节点/72分钟/100TB数据Spark用十分之一的计算资源，获得了比Hadoop快3倍的速度。
运行速度快：使用DAG执行引擎以支持循环数据流与内存计算
容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过Spark Shell进行交互式编程
通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件
运行模式多样：可运行于独立的集群模式中，可运行于Hadoop中，也可运行于Amazon EC2等云环境中，并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源
三、Hadoop存在如下一些缺点：表达能力有限，磁盘IO开销大，延迟高，任务之间的衔接涉及IO开销，在前一个任务执行完成之前，其他任务就无法开始，难以胜任复杂、多阶段的计算任务。