第二章大数据技术概述

大数据技术的产生

海量数据的产生：

1. 来自大人群互联网
2. 来自大量传感器机械
3. 科学研究及行业多结构专业数据

大数据的基本概念

       大数据的定义：无法在一定时间内用常规软件工具对其内容进行抓捕、管理和处理的数据集合

经典案例：啤酒与尿布、谷歌与流感。

        大数据的范围：采集、存储、搜索、共享、传输、分析和可视化

 大数据产生的原因

(1)信息技术的飞速发展，是大数据产品的技术基础

       在互联网技术的技术上，产生物联网技术、无线互联技术、无线传感技术不断推行了物联网、移动互联网和传感器网络的飞速发展，各个网络都在持续不断的产生和传播数据。另外数据抓取技术可以使人们方便地获取数据；并行处理技术的发展，极大地提升了海量数据的处理能力和处理效率；容量、高可靠的存储技术，可以让人们更多、更快地存取数据。

(2)数据产生方式的多元化，是大数据产生的数据基础

        全世界网民成为数据的生产者，每一个网民就是一个信息系统不断地制造数据。

(3)企业思维转变，是大数据产生的内在动力

        企业开始注重于企业内外部数据挖掘，在海量的数据中搜索出隐藏的规律和价值，从而为决策者提供更好的参考。大数据时代的到来，人类对于数据的搜索和利用能力得到了巨大的提升，主要表现在企业大数据的挖掘上。

大数据概念的提出

1887-1890年：电功器

1944年：预见大数据

1997年：用大数据描述超级计算机产生的大量信息

2003-2006年：谷歌提出大数据可重用方案

2008年：提出大数据概念

2009年：大数据逐渐走进互联网

2012年：大数据成为一种新的资产类别

2013年：大数据元年

第四范式——大数据对科学产生的影响

第一范式：实验

第二范式：理论

第三范式：计算

第四范式：数据

大数据的4V特征

一、大量化

1. 存储量大
2. 增量大

二、多样化

1.来源多

      1)搜索引擎

      2)社交网络

2.格式多

      1)结构化数据

      2)非结构化数据

三、快速化

四、价值密度低

企业推动大数据行业发展

• 腾讯
• 华为
• 谷歌
• 阿里
• 数据库
• ETC

大数据的关键技术

一、大数据预处理技术

1.数据采集

2.数据存储

3.基础架构支持

4.计算结果展示

二、大数据存储技术

1.存储设备能持久可靠的存储数据

2.提供可伸缩接口

3.提供高效查询、更新等操作

三、大数据分析技术

1.数据处理

2.统计和分析

3.数据挖掘

4.模型预测

四、大数据计算技术

典型的大数据计算架构

1)Hadoop——处理本地数据

2)Spark——收集并更新

3)Storm——延迟毫秒级