大数据技术原理与应用(1)

大数据概念

---

大数据时代：

信息化浪潮	发生时间	标志	解决问题
第一次浪潮	1980年前后	个人电脑	信息处理
第二次浪潮	1995年前后	互联网	信息传输
第三次浪潮	2010年前后	物联网，云计算，大数据	信息爆炸

信息化浪潮的技术支持：存储技术，计算技术，网络技术

---

数据产生方式：

第一阶段：运营式系统阶段

第二阶段：用户原创内容阶段(博客，微信，自媒体)

第三阶段：感知式系统阶段(监控，传感器等)

---

大数据特性(4V)：

volume大量化，velocity快速化，variety多样化，value价值密度低

---

大数据技术

---

大数据技术的层次：

数据采集

数据存储与管理(核心层)

数据处理与分析(核心层)

数据隐私与安全

---

数据存储与管理和数据处理与分析是大数据的两大核心，两的核心又两大核心技术，分别是分布式存储和分布式处理。

分布式存储：解决海量数据的存储问题

分布式处理：解决海量数据的处理问题

---

大数据典型的计算模式：

计算模式	解决问题	代表产品
批处理计算	针对大规模数据的批处理计算	MapReduce，Spark等
流计算	针对数据的实时计算	Storm，S4，Flum，Stream，Puma，DStream，Super Mario等
图计算	针对大规模图结构数据的处理	Pregel，Graphx,Giraph,PowerGraph,Hama,GoldenOrb等
查询分析计算	大规模数据的存储管理和存储分析	Dremel,Hive,Cassandra,Impala等

---

云计算

---

云计算的概念：通过网络以服务的方式为用户提供非常廉价的IT资源

云计算的三种模式：公有云(面向大众)，私有云(企业内部)，混合云(部分给自己，部分给外面)

三种云服务：

1.IaaS-基础设施即服务：

        将基础设施(计算资源和存储)作为服务出租

2.PaaS-平台即服务

        向开发者提供开发平台

3.SaaS-软件即服务

        在云端提供软件服务

云计算的关键技术：虚拟化，分布式存储，分布式计算，多租户

---

物联网

---

物联网概念：物物相连的互联网

物联网层次架构：

 物联网关键技术：识别技术，感知技术

---

大数据，云计算，物联网三者关系：