大数据生态与Spark介绍

大数据生态与Spark介绍

三次信息化浪潮

一、Spark介绍

• Spark是当前热门的大数据处理技术，Spark支持采用Scala、Java、Python和R语言进行编程。

二、主要特点：运行速度快：使用DAG执行引擎以支持循环数据流与内存计算。

• 容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过Spark Shell进行交互式编程 。
• 通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件。
• 运行模式多样：可运行于独立的集群模式中，可运行于Hadoop中，也可运行于Amazon EC2等云环境中，并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源 。
  三、Spark架构图
  

三、大数据概念：大数据不仅仅是数据的“大量化”，而是包含“快速化”，“多样化”和“价值化”等多重属性。

1. 数据量大
   1.1 ，根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数
   据摩尔定律）
   1.2，人类在最近两年产生的数据量相当于之前产生的全部数据量
   1.3，预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍
2. 数据类型繁多：大数据是由结构化数据和非结构化数据组成的。（10%的结构化数据，存储在数据库中，–90%的非结构化数据，它们与人类信息密切相关）
3. 处理速度快

• 从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少
• 1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同。

5. 价值密度低、商业价值高

三、大数据的影响

• 全样而非抽样
• 效率而非精准
• 相关而非因果