大数据（Big Data）基础知识学习（一）

定义

所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷（xie）取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

研究机构Gartner对大数据的定义——“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

麦肯锡全球研究所对大数据的定义——一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征

特点

IBM提出5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）

关键技术

大数据处理在于数据采集、数据存储与管理、数据处理与分析、数据隐私与安全。现阶段限制大数据发展的关键技术主要是数据存储与管理、数据处理与分析，而分布式存储、分布式处理是解决数据存储与管理、数据处理与分析的核心技术。

技术工具

分布式存储和分布式处理的主要技术工具是大规模并行处理（MPP）、数据挖掘、分布式文件系统、分布式数据库、分布式并行处理技术、云计算平台、互联网和可扩展的存储系统等。

趋势

一、数据的资源化

二、与云计算的深度结合

三、科学理论的突破

四、数据科学和数据联盟的成立

五、数据泄露泛滥

六、数据管理成为核心竞争力

七、数据质量是BI（商业智能）成功的关键

八、数据生态系统复合化程度加强

影响

全样而非抽样

效率而非精确

相关而非因果

大数据、物联网、云计算的关系

物联网技术无时无刻都在产生数据，推动了数据增长，包括结构化和非结构化数据。物联网技术造成了大数据的爆发。

云计算是解决大数据的数据存储与管理、数据处理与分析技术产物，主要解决了两个问题：

1、分布式存储、分布式处理

2、虚拟化、多租户

大数据产品应用

大数据计算模式	解决问题	代表产品
批处理计算	针对大规模数据的批量处理	MapReduce、Spark等
流计算	针对流数据的实时计算	Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等
图计算	针对大规模图结构数据的处理	Pregel、GraphX、Graph、PowerGraph、Hama、GoldenOrb等
查询分析计算	大规模数据的存储管理和查询分析	Dremel、Hive、Cassandra、Impala等

云计算应用

政务云：部署容灾备份、城市管理、智能交通等应用，通过集约化建设、管理和运行，可以实现信息资源整合和政务资源共享，推动政务管理创新，加快向服务型政府转型。

教育云：可以有效整合幼儿园教育、中小学教育、高等教育以及继续教育等优质教育资源，逐步实现教育信息共享、教育资源共享及教育资源深度挖掘等目标。

中小企业云：让企业以低廉的成本建立财务、供应链、客户关系等管理应用系统，大大降低企业信息化门槛，迅速提升企业信息化水平，增强企业市场竞争力。

医疗云：推动医院与医院、医院与社区、医院与急救中心、医院与家庭之间的服务共享，并形成一套全新的医疗健康服务系统，从而有效地提高医疗保健的质量。

知识拓展

OLTP（On-Line Transaction Processing）：在线事务处理/联机事务处理，是传统关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。

OLAP（On-Line Analytical Processing）：在线分析处理/联机分析处理，是数据仓库的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。MPP

数据单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB