大数据生态与Spark简介

一、大数据
1、大数据概念
大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2、大数据的好处

1. 数据量大
   

2. 数据类型繁多

3. 处理速度快
   

4. 价值密度低
   

3、大数据的影响
在思维方式方面，大数据完全颠覆了传统的思维方式

• 全样而非抽样
• 效率而非精确
• 相关而非因果

4、大数据关键技术

5、大数据计算模式
二、代表性大数据技术
Hadoop、Spark、Flink、Bean
三、Spark简介
Spark最初由美国加州大学伯克利分校(UC Berkeley)的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序
2013年Spark加入Apache孵化器项目后发展迅猛，如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一(Hadoop、Spark、Storm)
Spark在2014年打破了Hadoop保持的基准排序纪录 I
·Spark/206个节点/23分钟/100TB数据
*Hadoop/2000个节点/72分钟/100TB数据
•Spark用十分之一的计算资源，获得了比Hadoop快3倍的速度
1、Spark主要特点

2、Spark构架图

3、Spark生态系统