大数据概论

1.大数据是什么，5V？

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据的5V特点（IBM提出）：

• Volume（大量）
• Velocity（高速）
• Variety（多样）
• Value（低价值密度）
• Veracity（真实性）

2.数据仓库Data warehouse

从本质上讲，设计数据仓库的初衷是为操作型系统过渡到决策支持系统提供一种工具或整个企业范围内的数据集成环境，并尝试解决数据流相关的各种问题。这些问题包括如何从传统的操作型处理系统中提取与决策主题相关的数据，如何经过转换把分散的、不一致的业务数据转换成集成的、低噪声的数据等。
Bill Inmon 认为数据仓库就是面向主题的（Subject-Oriented ）、集成的（Integrated）、非易失的（Non-Volatile）和时变的（Time-Variant ）数据集合，用以支持管理决策 。数据仓库不是可以买到的产品，而是一种面向分析的数据存储方案。首先，数据仓库用于支持决策，面向分析型数据处理，不同于提高业务效率的操作型数据库；其次，数据仓库对分布在企业中的多个异构数据源集成，按照决策主题选择数据并以新的数据模型存储。此外，存储在数据仓库中的数据一般不能修改。

特点:

1. 数据仓库是面向主题的；操作型数据库的数据组织面向事务处理任务，而数据仓库中的数据是按照一定的主题域进行组织。主题是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。
2. 数据仓库是集成的，数据仓库的数据有来自于分散的操作型数据，将所需数据从原来的数据中抽取出来，进行加工与集成，统一与综合之后才能进入数据仓库；
3. 数据仓库是不可更新的，数据仓库主要是为决策分析提供数据，所涉及的操作主要是数据的查询；
4. 数据仓库是随时间而变化的，传统的关系数据库系统比较适合处理格式化的数据，能够较好的满足商业商务处理的需求。稳定的数据以只读格式保存，且不随时间改变。
5. 汇总的。操作性数据映射成决策可用的格式。
6. 大容量。时间序列数据集合通常都非常大。
7. 非规范化的。Dw数据可以是而且经常是冗余的。
8. 元数据。将描述数据的数据保存起来。
9. 数据源。数据来自内部的和外部的非集成操作系统。

联机事务处理OLTP（on-line transaction processing）,主要是执行基本日常的事务处理，比如数据库记录的增删查改
联机分析处理OLAP（On-Line Analytical Processing）,是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

3.分析（Extract-Transform-Load）、数据挖掘（Data Mining）的区别

ETL：数据抽取（Extract）、转换（Transform）、加载（Load ），它是指：将OLTP系统中的数据抽取出来，并将不同数据源的数据进行转换和整合，得出一致性的数据，然后加载到数据仓库中。目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。
Data Mining：数据挖掘是指从大量的数据中，通过统计学、人工智能、机器学习等方法，挖掘出未知的、且有价值的信息和知识的过程。
4.hadoop

Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。
HDFS（Hadoop分布式文件系统）
Mapreduce（分布式计算框架）
HBASE（分布式列存数据库）