大数据概述

a.大数据时代、

大数据时代（第三次浪潮大数据与云计算、物联网2010年到来）

b.大数据概念和影响

4v:
	Volume(大量化)
	Velocity(快速化)
	Varlety(多样化)
	Value(价值密度低)
思维方式：
	全样而非抽样
	效率而非精确
	相关而非因果	

c.大数据的应用

举例1：
	电影电视剧投拍（跟风亮剑） 
	美国-纸牌屋（大数据运算投拍）
举例2：
	谷歌流感分析

d.大数据的关键技术

大数据技术的层次;
数据采集----数据存储与管理----数据处理与分析----数据隐私与安全
核心技术：
数据存储与管理--数据处理与分析
分布式存储--分布式处理

大数据技术的不同层面及其功能

技术层面	功能
数据采集	利用ETL工具将分布的、异构数据源中的数据如关系数据、平面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础；或者也可以把实时采集的数据作为流计算系统的输入，进行实时处理分析
数据存储和管理	利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理
数据处理与分析	利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析；对分析结果进行可视化呈现，帮助人们更好地理解数据、分析数据
数据隐私和安全	在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐私数据保护体系和数据安全体系，有效保护个人隐私和数据安全

大数据计算模式及其代表产品

大数据计算模式	解决问题	代表产品
批处理计算	针对大规模数据的批量处理	MapReduce、Spark等
流计算	针对流数据的实时计算	Storm、S4、Flume、Streams、Puma、DStream、SuperMario、银河流数据处理平台等
图计算	针对大规模图结构数据的处理	Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等
查询分析计算	大规模数据的存储管理和查询分析	Dremel、Hive、Cassandra、Impala等

e.大数据与云计算、物联网

e.1云计算

云计算的概率：
云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源
云计算的关键技术:
虚拟化、分布式存储、分布式计算、多租户
其他：
基础设施层 基础设施即服务（IaaS）Infrastructure as a Service
平台层 平台即服务（PaaS）Platform as a Service
应用层 软件即服务（SaaS）Software as a Service

e.2物联网

物联网的概率：
物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把
传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物、物与物相联，
实现信息化和远程管理控制
物联网关键技术：
物联网中的关键技术包括识别和感知技术（二维码、RFID、传感器等）、网络与通信技术、数据挖掘与融合技术等

e.3三者之间的联系

物联网是大数据的重要来源 
大数据技术为物联网数据分析提供支撑

云计算为大数据提供了技术基础 
大数据为云计算提供用武之地

云计算为物联网提供海量数据存储能力 
物联网为云计算技术提供了广阔的应用空间