大数据模型研究报告pdf_)大数据环境下数学建模.pdf

)大数据环境下数学建模

仅供教师教学

参考，禁止上

传互联网！

2014/7/26 信息工程大学韩中庚 1

大数据环境下的数据建模方法

1. 大数据环境与数据建模概述

1. 大数据环境与数据建模概述

2. 大数据的建模分析方法

2. 大数据的建模分析方法

3.数据处理与数据建模方法

3.数据处理与数据建模方法

4. 数学建模竞赛的赛题分析

4. 数学建模竞赛的赛题分析

5. 数学建模竞赛的实践过程

5. 数学建模竞赛的实践过程

6. 数学建模的指导与实践方法

6. 数学建模的指导与实践方法

2014/7/26 信息工程大学韩中庚 2

一、大数据环境与数据建模概述

1. 大数据的传说

一个数据体量特别大，数据类别特别多的

数据集，且无法用传统数据库工具对其进行管

理和处理。通常情况数据量为10TB以上，从海

量数据到巨量数据。

• 关于大数据最重要的问题是如何使用？

• 最大的挑战在于哪些技术能更好地使用大数

据？

• 大数据的应用水平如何？

2014/7/26 信息工程大学韩中庚 3

一、大数据环境与数据建模概述

2.大数据的基本特征

(1 )数据体量巨大，从TB级别到PB级别。

(2 )数据类型繁多，数据来自多种数据源，突

破了通常的结构化数据范畴，包括半结构化和非

结构化数据。如网络日志、视频、语音、图片、

地理信息、人员信息、商业信息等。

(3 )数据的真实性高、但价值密度低。如连续

不间断的监控视频，可能有用的数据仅有几秒

钟。

(4 )处理速度快，1秒定律，即实现实时处理。

2014/7/26 信息工程大学韩中庚 4

一、大数据环境与数据建模概述

3.大数据的发展与应用过程

(1 )20 世纪 80年代开始数学热，数学热促使

了数学模型发展，但经典的数学模型对带有观

测误差的数据处理能力有限；

(2 )90年代出现了信息热，信息等价于数

据，然而当时的信息处理技术从计算能力、适

应能力和容错能力等难以达到使用的标准。

(3 )从90年代中期，统计学成为大众消费数

据的热点，使得统计学家从象牙塔走到了现实

世界，从而出现了统计建模。

2014/7/26 信息工程大学韩中庚 5

一、大数据环境与数据建模概述

3.大数据的发展与应用过程

(4 )进入21世纪，网络密布、数据激增，统计

建模在一定程度上为数据分析提供了一套可扩

展、可深化，高质高效地揭示有价值信息的方

法。

(5 )近几年来，大数据体量不断增加、类型复

杂，统计建模方法已不能全胜任。需要更多针

对大数据分析的数据建模方法。

(6 )关于大数据分析(数据采集、数据处理、

数据建模、数据应用)方法现已成为新热点。

2014/7/26 信息工程大学韩中庚 6

一、大数据环境与数据建模概述

4.大数据分析的研究方向

由于大数据来源复杂、体量巨大、价值潜伏、处

理速度快等特点，要求利用计算机和数学技术予

以实现(数据工程 )。大数据分析的研究方向：

(1 )数据的表示与预处理方法，主要强调采

集、存取、加工，使其规范化和可视化的方法。