第二章 大数据平台和技术

2.1 引言

1、大数据处理需求主要集中在如下几点：

如何收集类型如此繁多的数据？

如何存储体量如此巨大的数据？

如何在大数据中找出有价值的信息？

如何保证大数据的分析速度以及有效展示大数据的分析结果？

2.2 大数据基础

2.2.1 大数据的定义和提点

所谓大数据就是现有的一般技术难以管理的大量数据的集合。

4V特性：volume（大量）、velocity（高速）、variety（多样）、value（低价值密度）

2.2.2 大数据关键技术

大数据技术是指伴随着大数据的采集、存储、分析和应用的相关技术，是一系列使用非传统工具来对海量结构化和非结构化数据进行处理，从而获得分析和预测结果的一系列数据处理和分析技术。

大规模数据，在容量上至少大于1TB的数据集。

数据采集与预处理

数据存储与管理

数据处理与分析

数据可视化呈现

2.2.3 大数据计算模式

批处理计算：大规模数据的批量处理

流式计算：流式数据的实时计算

交互式查询计算：大规模数据的存储管理和查询分析

图计算：大规模图结构数据的处理

2.3 大数据应用场景

在将大数据应用到某种应用场景之前，需要结合行业特点，从时间、空间、人员、行为等方面剖析具体要解决的问题，分析可以采用哪些大数据应用方法（技术原理、产品和实现方法），以及通过大数据技术能取得的成就。

2.4 大数据主流平台框架

2.4.1 Hadoop

hadoop将一个