初识大数据

初识大数据

---

结构化&非结构化

1、结构化数据即行数据,存储在数据库里,可以用二维表（行列形式）结构来逻辑表达实现的数据

2、非结构化数据库主要是针对非结构化数据而产生的，与以往流行的关系数据库相比，其最大区别在于它突破了关系数据库结构定义不易改变和数据定长的限制，支持重复字段、子字段以及变长字段，在处理连续信息（包括全文信息）和非结构化信息（包括各种多媒体信息）中有着传统关系型数据库所无法比拟的优势。非结构化数据（全文文本、图象、声音、影视、超媒体等信息）。

3、半结构化数据，就是介于完全结构化数据（如关系型数据库、面向对象数据库中的数据）和完全无结构的数据（如声音、图像文件等）之间的数据，HTML文档就属于半结构化数据。

大数据的特点

1、Volume：数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。

2、Variety：种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。

3、Value：数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时代最需要解决的问题。

4、Velocity：数据增长速度快，处理速度也快，时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。

5、Veracity：数据的准确性和可信赖度，即数据的质量。

CAP理论

在理论计算机科学中，CAP定理（CAP theorem），又被称作布鲁尔定理（Brewer’s theorem），理论的核心是：一个分布式系统不可能同时很好的满足一致性，可用性和分区容错性这三个需求，最多只能同时较好的满足两个。

- 一致性（Consistency)

概念：
同一个数据在集群中的所有节点，同一时刻是否都是同样的值。
说明：
对于一致性，可以分为从客户端和服务端两个不同的视角。从客户端来看，一致性主要指的是多并发访问时更新过的数据如何获取的问题。从服务端来看，则是更新如何复制分布到整个系统，以保证数据最终一致。一致性是因为有并发读写才有的问题，因此在理解一致性的问题时，一定要注意结合考虑并发读写的场景。从客户端角度，多进程并发访问时，更新过的数据在不同进程如何获取的不同策略，决定了不同的一致性。对于关系型数据库，要求更新过的数据能被后续的访问都能看到，这是强一致性。如果能容忍后续的部分或者全部访问不到，则是弱一致性。如果经过一段时间后要求能访问到更新后的数据，则是最终一致性。

- 可用性（Availability）

概念：
集群中一部分节点故障后，集群整体是否还能处理客户端的更新请求。
说明：
对于一个可用性的分布式系统，每一个工作正常的节点必须对每一个请求作出响应。好的可用性主要是指系统能够很好的为用户服务，不出现用户操作失败或者访问超时等用户体验不好的情况。

- 分区容忍性（Partition tolerance）

概念：
是否允许数据的分区，分区的意思是指是否允许集群中的节点之间无法通信。
说明：
分区容错性和扩展性紧密相关。在分布式应用中，某些原因会导致系统无法正常运转。比如现在的分布式系统中有某一个或者几个机器宕掉了，其他剩下的机器还能够正常运转满足系统需求，或者是机器之间有网络异常，将分布式系统分隔未独立的几个部分，各个部分还能维持分布式系统的运作，这样就具有良好的分区容错性。

- 选择：

由于分布式系统，我们无法不选择P，因为由于网络的不可靠性，必定会导致两个机器节点之间无法进行网络通信，从而导致数据无法同步。这样的现实导致我们必须选择P。然后，在这个前提下，我们要么选择A，要么选择C。

当两台机器节点之间无法通信时（即选择了P），如果我们继续允许客户端写入数据到其中一台，那就必然导致数据不一致，因为这个数据无法同步到另一台机器。（这种做法就是选择了A，牺牲了C）
当两台机器节点之间无法通信时（即选择了P），如果我们不允许客户端写入数据到任何一台，那数据虽然是一致的，但系统就不可用了。（这种做法就是选择了C，牺牲了A）

数据仓库

数据仓库之父Bill Inmon在1991年出版的“Building the Data Warehouse”一书中所提出的定义被广泛接受：数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策（Decision Making Support）。

数据仓库特点

1、面向主题。操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。

2、集成的。面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。

4、反映历史变化。操作型数据库主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点（如开始应用数据仓库的时点）到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。

数据仓库中的数据包括：元数据、粒度数据、当前详细数据，历史数据、档案数据。

1、当前详细数据：是信息仓库的核心，存放大量数据。数据来自业务操作数据库，通过主题来组织，不是代表特定应用，而是代表整个企业。在仓库中数据粒度最低，当数据精确化时，其中的每一个数据实体都是一个快照、一个时刻，表示一个瞬间。一旦需要经常支持企业需求，数据随即进行更新。

2、历史数据：以前的有意义数据（一般两年以上），给企业带来延续的利益和价值。包含巨大的数据量，可以用来预测和趋势分析。包括：旧数据（原始或汇总形式）、描述旧数据特征的元数据。

3、元数据：最重要的部分，关于数据的数据。也称为数据仓库的结构，是所有数据的集成体现。仓库开发者使用元数据来管理和控制仓库的建立和维护。

4、粒度数据：定义为数据仓库所保持的信息的概要程度。不同粒度表示为不同级别的汇总数据。汇总数据是信息仓库的特点，所有的企业数据分类（按部门、地区、功能等）需要的信息都不同，同时有效的信息仓库设计是为不同风格提供的，轻量级汇总数据为整个企业组成部分服务。通过企业数据分类找到详细和汇总数据。但是它依旧比仓库中的详细数据少得多。高度汇总数据是企业执行的主要依据，它来自根据企业组成部分的轻量级汇总数据或来自当前详细数据。这一层的数据容量比其他任何一个都少，代表一个折衷的积累，用来支持广泛的各式的需要和兴趣。通过高度汇总，执行者能够使用“钻取”到达逐步增加的详细层。