大数据技术原理与应用----大数据概述

一、发展背景

1、大数据时代

（1）时代背景

        大数据、物联网、云计算促成的第三次信息化浪潮。

（2）技术支撑

        ①存储（存储设备容量不断增加）；

        ②计算（CPU处理能力大幅提升）；

        ③网络（网络带宽不断增加）；

（3）大数据发展历程

二、大数据的概念和影响 

1、大数据的经典特征

（1）4V

        ①数据量大；

        ②数据类型繁多；

        ③处理速度快；

        ④价值密度低；

2、大数据理论基础

（1）常用存储单位的换算关系

（2） 科学研究的四种范式

        ①第一种范式：实验科学；

        ②第二种范式：理论科学；

        ③第三种范式：计算科学；

        ④第四种范式：数据密集型科学；

（3）大数据对思维方式的影响

        ①全样而非抽样；

        ②效率而非精确；

        ③相关而非因果；

（4）大数据的应用

        基本上各个行业都融入了大数据。

三、大数据技术及其原理概述

1、大数据关键技术

（1）大数据技术层面及其应用 

（2）数据存储管理和数据处理与分析的两大核心技术

        ①分布式存储（解决海量数据存储问题，集群分布式处理）；

        ②分布式处理（解决海量数据的处理问题，集群分布式处理）；

2、大数据计算模式

（1）技术代表以及模式简述

        大数据技术以谷歌公司技术为代表：

                  

        

（2）批处理计算

        MapReduce是批处理计算模式的典型代表，Spark也是批处理但是它解决了MapReduce的缺点，实时性更好，同时它也可以做迭代计算。

（3）流计算

        流数据需要实时处理，给出实时响应，否则分析结果就会失去商业价值。

（4）大数据计算模式概述图

3、云计算 

（1）云计算解决的两大核心问题

        ①分布式存储；

        ②分布式处理；

（2）云计算的优势

        企业不需要自建IT基础设施，可以直接租用云端资源。

（3）云计算的三种模式

        ①公有云（面向全部用户）；

        ②私有云（面向企业内部）；

        ③混合云（部分自己用，部分外界用）；

        模式图：

（4）云服务的三种类型 

        ①SaaS（面向用户）；

        ②PaaS（面向应用开发者）；

        ③IaaS（面向网络架构师）；

        类型图：

（5）云计算的关键技术

        ①虚拟化；

        ②分布式存储；

        ③分布式计算；

        ④多租户；

4、物联网

（1）物联网的概念定义

        物物相连，互联网的延伸：