大数据理论学习

1. 大数据的特点：

数据量大；
由结构化数据和非结构化数据组成，大部分是非结构化数据；
处理速度非常快；
价值密度低，商业价值高。

2. 大数据的影响：

2.1 科学研究变化：

科学研究四范式：实验，理论，计算，数据。
从计算到数据。

2.2 思维方式变化：

全样而非抽样。
效率而非精确。因为不存在误差放大问题。
相关而非因果。

3. 大数据的应用：

3.1 影视剧拍摄：

《纸牌屋》的拍摄。

3.2 谷歌预测流感

4. 大数据的关键技术：

两大核心技术：

4.1 分布式存储：

分布式数据库，分布式文件系统。

4.2 分布式处理：

分布式并行处理技术。

4.2.1 典型计算模式：

批处理计算 MapReduce，Spark；
流计算 Storm，S4，Flume；（实时计算）
图计算 Pregel；（社交网络等）
查询分析计算 Hive。

5. 云计算：

5.1 解决的问题：

分布式存储和分布式处理。

5.2 典型特征：

虚拟化和多租户。

5.3 分类：

公有云，私有云，混合云。

SaaS：软件即服务。
PaaS：平台即服务。
IaaS：基础设施即服务。（计算资源）

5.4 数据中心选址：

地质稳定，气候凉爽。

6. 物联网：

物物联通的互联网。

6.1 结构：

应用层
处理层
网络层
感知层

6.2 关键技术：

识别技术，感知技术。

7.Hadoop：

开源分布式计算平台。

7.1 两大核心：HDFS和MapReduce

7.2 版本：

7.2.1：1.0版本

0.20.x，0.21.x，0.22.x，1.0.x。
框架：
MapReduce
HDFS

7.2.2：2.0版本

2.0：0.23.x，2.x。
框架：
MapReduce + Others
YARN
HDFS