大数据生态和Spark简介

一、大数据时代

1.第三次信息化浪潮：根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一次重大变革。

2.数据产生方式的变革促成大数据时代的来临：
①存储设备容量不断增加
②CPU处理能力大幅提升
③网络带宽不断增加
等等，为大数据时代提供技术支撑。

二、大数据概念

1.大数据概念：
大数据不仅仅是数据的“大量化”，而是包含“快速化”、“多样化”和“价值化”等多重属性。
2.大数据的特点
①数据量大：根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律）
人类在最近两年产生的数据量相当于之前产生的全部数据量
预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍。

②数据类型繁多：大数据是由结构化和非结构化数据组成的
10%的结构化数据，存储在数据库中90%的非结构化数据，他们与人类信息密切相关。
③处理速度快：从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少&#