大数据导论—概述

大数据的概念

大数据特性有5个:

    数据量，多样性，价值，速度，真实性

 大数据则指PB（10的15次方）级及其以上的数据

多样性:

   数据类型包括结构化数据，非结构化数据和半结构化数据

 

大数据处理周期

大数据处理全过程:

    1.大数据获取与存储管理

    2.大数据抽取与清洗

    3.大数据约简与集成

    4.大数据分析与挖掘

    5.大数据分析结果解释与可视化展现

大数据技术特征:

1.分析全面的数据而非随机抽样

2.重视数据的复杂性，弱化精确性

3.关注数据的相关性，而非因果关系

4.学习算法复杂度

大数据处理模式

离线处理特点:

   1.数据量巨大且保存时间长

   2.批量运算

   3.不会发生变化

   4.更好的查询批量计算的结果

在线处理模式:

   动态数据，实时处理。

   流式数据。

   大数据流式计算主要对动态产生的数据进行实时计算并及时反馈结果