【数据库系统】数据库系统概论====第十四章 大数据管理

第十四章 大数据管理

---

14.1大数据概述

14.1.1什么是大数据

1. 大数据定义
   一般意义上，大数据指无法在可容忍的时间内用现有IT技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。
   大数据通常认为是PB或EB或更高级的数据，包括结构化的、半结构化的和非结构化的数据。
2. 大数据分类
   按大数据的应用类型分为海量交易数据（企业OLTP应用）、海量交互数据（社交网、传感器、全球定位系统、Web信息）和海量处理数据（企业OLAP应用）。

14.1.2大数据的特征

1. 大数据的特征（4V）
   巨量（Volume）、多样（Variety）、快变（Velocity）、价值（Value）。
   巨量：大数据的首要特征是数量巨大，而且在持续、急剧地膨胀。
   主要来源有：科学研究、互联网应用和电子商务领域、传感器数据、网状点击数流量、移动设备数据、无线射频识别数据等。
   多样：数据的多样性通常是指异构的数据类型、不同的数据表示和语义解释。
   越来越多的应用所产生的数据类型不再是纯粹的关系数据，更多的是非结构化、半结构化的数据，如文本、图形、图像、音频、视频、网页、推特和博客等。
   快变：大数据的快变性也称为实时性，一方面指数据到达的速度很快，另一方面指能够进行处理的时间很短，或者要求响应速度很快，即实时响应。
   价值：大数据的价值是潜在的、巨大的。大数据不仅具有经济价值和产业价值，还具有科学价值。这是大数据最重要的特点，也是大数据的魅力所在。

14.2大数据的应用

14.2.1感知现在 预测未来----互联网文本大数据管理与挖掘

1. 互联网媒体文本大数据应用：时事探针
   时事探针系统可以实时监控、收集互联网媒体数据，并对数据进行深入的挖掘和分析。“马航事件”等信息过载问题和“高考”等热点话题。
2. 互联网文本大数据管理的挑战
   对于文本大数据处理，目前广泛使用的互联网搜索引擎只是对文本数据的简单索引和查找，不能满足用户对所关注的话题进行实时监测、深入分析以及决策支持等需求。
3. 互联网文本大数据管理系统
   时事探针系统是一个面向互联网文本大数据的通用的管理和分析平台。整个系统分为离线处理和在线处理两个部分。其中离线部分是设计的重点，主要功能有：
   ①多源异构网络大数据的感知和获取。
   ②文档理解及结构数据抽取和集成。
   ③数据存储和索引。
   ④离线主题文本立方体建立及更新。
   互联网文本大数据管理的特点：
   ①互联网文本大数据蕴含着丰富的社会信息，可以看作是对真实社会的网络映射。
   ②实时、深入分析互联网文本大数据，帮助人们在海量数据中获取有价值的信息，发现蕴含的规律，可以更好地感知现在、预测未来。
   ③互联网文本大数据管理对大数据系统和技术的挑战是全面、跨学科领域的，需要创新，也需要继承传统数据管理技术和数据仓库分析技术的精华。

14.2.2数据服务 实时推荐----基于大数据分析的用户建模

1. 面向用户建模的大数据系统架构
   用户建模的目标是为了准确地把握用户的行为特征、兴趣爱好等，进而较为精准地向用户提供个性化地信息服务或信息推荐。
   面向用户建模的大数据系统架构如下：
   
2. 数据分析：用户建模的基础工具
   一大类用户建模方法采用的是批处理方式的离线分析方法，对结构化或半结构化的是日志数据进行SQL分析或者使用数据挖掘和机器学习的深度分析方法。
   另一大类用户建模方法则采用实时的在线分析方法，数据即来即分析，更强调数据的实时分析处理能力。
3. 数据服务：用户建模的价值体现
   这一大数据应用特点：
   ①模型建立来自对大数据的分析结果。
   ②数据处理既有对历史数据的离线分析和挖掘，又有对实时流数据的在线采集和分析。
   ③用户模型本身也是大数据，维度高，信息稀疏，用户模型的存储、管理是数据服务的重要任务，要满足大规模应用需求的高并发数据更新与读取。

14.3大数据管理系统

14.3.1NoSQL数据管理系统

NoSQL是以互联网大数据应用为背景发展起来的分布式数据管理系统。NoSQL有两种解释：一种是Non-Relational，即非关系数据库；另一种是Not Only SQL，即数据管理技术不仅仅是SQL。目前第二种解释更为流行。
NoSQL系统支持的数据模型通常分为Key-Value模型、BigTable模型、文档模型和图模型4种模型。

14.3.2 NewSQL数据库系统

NewSQL系统是融合了NoSQL系统和传统数据库事务管理功能的新型数据库系统。

14.3.3 MapReduce技术

MapReduce技术是Google公司于2004年提出的大规模并行计算解决方案，主要应用于大规模廉价集群上的大数据并行处理。
MapReduce是一种并行编程模型。它把计算过程分解为两个阶段，即Map阶段和Reduce阶段。

14.3.4大数据管理系统的新格局

1. 面向操作型应用的关系数据库技术
2. 面向分析型应用的关系数据库技术
3. 面向操作型应用的NoSQL技术
4. 面向分析型应用的MapReduce技术

14.4小结

1. 大数据的概念。
2. 大数据特点及大数据管理和大数据系统的技术需求和挑战。
3. NoSQL系统、NewSQL系统和MapReduce技术等。