大数据技术原理与应用(一)

前言

最近了解一下大数据，在Mooc上找了课程进行学习，在这里进行一个总结归纳。首先上思维导图，展示概要内容，细节内容放在下面展开。

展开

1.三次信息浪潮

　　第三次信息化浪潮带来的革新：

　　1.存储容量不断增大

　　2.cpu处理能力不断增大——>数据产生方式革新，数据生产更快

　　3.网络带宽不断增加

２.数据库方面的图灵奖

　　１.Charles W. Bachman（查理士·巴赫曼），1973 年获得图灵奖，网状数据库之父，DBTG 的模型、存储、语言等。
　　　　２.Edgar F. Codd(埃德加·科德)，1981 年获得图灵奖，关系数据库之父，70 年提出关系型数据模型。
　　　　３.James Gray（詹姆斯·尼古拉·格雷），1998 年获得图灵奖，数据库技术和事务处理专家，事务管理、事务处理、并发，完整。
　　　　４.Michael Stonebraker（迈克尔·斯通布雷克）， 2014 年获得图灵奖，对现代数据库系统底层的概念与实践所做出的基础性贡献。

３.大数据

　　　　Volume大量化、Variety快速化、Velocity多样化、Value价值密度低

　　　　摩尔定律：人类在最近两年产生的数据量相当于之前产生的全部数据量

　　　　1秒定律：从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少，这一点同传统的数据挖掘有着本质的不同。

　　　核心层次是数据存储与管理、数据处理与分析，设计核心技术：分布式存储、分布式处理，利用集群进行实现。

　　　大数据技术，以谷歌公司技术为代表：分布式数据库BigTable、分布式文件系统GFS、分布式并行处理技术MapReduce

　　　分布式处理——＞不同的计算模式使用不同的产品：批处理、实时计算、交互式计算

４云计算：

　　云计算的关键技术：虚拟化、分布式存储、分布式计算、多租户（同时为多个用户服务）

 

５.物联网

６.联系

总结：

　　大数据四个特点：大量、快速化、多样化、价值密度低

　　关键技术：分布式存储、分布式处理

　　计算模式：批处理计算、流处理计算、图计算、查询分析计算

　　大数据、云计算、物联网的联系：物联网是大数据的数据来源，云计算提供海量存储等技术基础，大数据为数据分析提供支撑