定义
所涉及的资料量规模巨大到无法透过主流软件工具,在合理时间内达到撷(xie)取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
研究机构Gartner对大数据的定义——“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
麦肯锡全球研究所对大数据的定义——一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征
特点
IBM提出5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)
关键技术
大数据处理在于数据采集、数据存储与管理、数据处理与分析、数据隐私与安全。现阶段限制大数据发展的关键技术主要是数据存储与管理、数据处理与分析,而分布式存储、分布式处理是解决数据存储与管理、数据处理与分析的核心技术。
技术工具
分布式存储和分布式处理的主要技术工具是大规模并行处理(MPP)、数据挖掘、分布式文件系统、分布式数据库、分布式并行处理技术、云计算平台、互联网和可扩展的存储系统等。
趋势
一、数据的资源化
二、与云计算的深度结合
三、科学理论的突破
四、数据科学和数据联盟的成立
五、数据泄露泛滥
六、数据管理成为核心竞争力
七、数据质量是BI(商业智能)成功的关键
八、数据生态系统复合化程度加强
影响
全样而非抽样
效率而非精确
相关而非因果
大数据、物联网、云计算的关系
物联网技术无时无刻都在产生数据,推动了数据增长,包括结构化和非结构化数据。物联网技术造成了大数据的爆发。
云计算是解决大数据的数据存储与管理、数据处理与分析技术产物,主要解决了两个问题:
1、分布式存储、分布式处理
2、虚拟化、多租户
大数据产品应用
大数据计算模式 | 解决问题 | 代表产品 |
批处理计算 | 针对大规模数据的批量处理 | MapReduce、Spark等 |
流计算 | 针对流数据的实时计算 | Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等 |
图计算 | 针对大规模图结构数据的处理 | Pregel、GraphX、Graph、PowerGraph、Hama、GoldenOrb等 |
查询分析计算 | 大规模数据的存储管理和查询分析 | Dremel、Hive、Cassandra、Impala等 |
云计算应用
政务云:部署容灾备份、城市管理、智能交通等应用,通过集约化建设、管理和运行,可以实现信息资源整合和政务资源共享,推动政务管理创新,加快向服务型政府转型。
教育云:可以有效整合幼儿园教育、中小学教育、高等教育以及继续教育等优质教育资源,逐步实现教育信息共享、教育资源共享及教育资源深度挖掘等目标。
中小企业云:让企业以低廉的成本建立财务、供应链、客户关系等管理应用系统,大大降低企业信息化门槛,迅速提升企业信息化水平,增强企业市场竞争力。
医疗云:推动医院与医院、医院与社区、医院与急救中心、医院与家庭之间的服务共享,并形成一套全新的医疗健康服务系统,从而有效地提高医疗保健的质量。
知识拓展
OLTP(On-Line Transaction Processing):在线事务处理/联机事务处理,是传统关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。
OLAP(On-Line Analytical Processing):在线分析处理/联机分析处理,是数据仓库的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。MPP
数据单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB