大数据技术原理与应用——第一章

大数据时代

三次信息化浪潮

信息化浪潮	时间	标志	解决的问题
第一次信息化浪潮	1980	个人计算机	信息处理
第二次信息化浪潮	1995	互联网	信息传输
第三次信息化浪潮	2010	大数据、云计算、互联网	信息爆炸

大数据的技术支撑

 1. 存储设备容量不断增加
 2. CPU处理能力大幅提升
 3.  网络带宽不断增加

数据产生方式

 1. 运营式系统阶段
 2. 用户原创内容阶段
 3. 感知式系统阶段 

大数据概念

数据量大

• “大数据摩尔定律”：人类产生的数据以每年50%的速度增长。

数据类型多

• 结构化数据占10%，非结构化数据占90%

处理速度快

• 秒级响应

价值密度低

• 价值密度远远低于传统关系型数据库

大数据的影响

四种科学研究范式

1. 实验科学
2. 理论科学
3. 计算科学：现提出理论，再收集数据，通过计算机验证
4. 数据密集型科学 ：现有大量数据，通过计算得出未知理论

大数据关键技术

1. 数据采集与预处理
2. 数据存储与管理
3. 数据处理与分析
4. 数据安全和隐私保护

大数据计算模式

计算模式	解决问题
批处理计算	针对大规模数据的批量处理
流计算	针对大数据的实时计算
图计算	针对大规模图结构数据（或网络的形式）的处理
查询分析计算	大规模数据的存储管理和查询分析（实时、准实时响应）

大数据产业

1. IT基础设施层
2. 数据源层
3. 数据管理层
4. 数据分析层
5. 数据平台层
6. 数据应用层

大数据与云计算、物联网

三者相辅相成，既有联系又有区别

云计算

通过网络提供可伸缩的、廉价的分布式计算能力，以虚拟化技术为核心、以低成本为目的、动态可拓展的网络应用基础设施。

三种服务模式
* 基础设施即服务（IaaS）
* 平台即服务（PaaS）
* 软件即服务（SaaS）

关键技术
* 虚拟化
* 分布式存储
* 分布式计算
* 多租户

云计算数据中心
云计算应用
云计算产业……

物联网

四层
1. 感知层
2. 网络层
3. 处理层
4. 应用层

关键技术
1. 识别感知技术（二维码、RFID标签、传感器）
2. 网络与通信技术（NFC、蓝牙、RFID、互联网、移动网络、卫星通信网络）
3. 数据挖掘与融合技术

大数据、云计算、物联网关系

1.物联网是大数据的重要来源，为云计算技术提供应用空间
2.大数据技术为物联网数据分析提供支撑，大数据为云计算机提供用武之地
3.云计算为大数据提供了技术基础，为物联网提供了海量数据存储能力