#大数据技术导论（程显毅）

相应知识总结

第一章   概论

第二章   大数据生态系统

第三章   大数据采集与预处理

第四章   大数据管理

第五章   大数据分析

第六章   大数据可视化

第七章   大数据应用

第八章   大数据安全

 

第一章

---

1. 1数据

1、数据的概念：是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合，是可识别的、抽象的符号

2、数据的类型：

文本、图片、音频、视频

3、数据组织形式：

计算机系统中的数据组织形式主要有两种，即文件和数据库。

4、数据的使用：

• 数据清洗
• 数据管理
• 数据分析

5、数据的价值性

数据的价值不会因为不断被使用而削减，反而会因为不断重组而产生更大的价值。

1. 2大数据

1、大数据的概念：无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

2、大数据的特征：

• 数据量大（Volume）
• 数据类型繁多（Velocity）
• 处理速度快（Variety）
• 价值密度低（Value）

3、数据产生方式的变革促成大数据时代的来临

   ①运营式系统阶段

   ②用户原创内容阶段

   ③感知式系统阶段

4、大数据的生命周期

数据采集、存储、处理、解释和应用

5、第三次信息化浪潮

 6、大数据的发展历程

1.  3大数据与物联网、云计算、人工智能

1.  4大数据时代的八个重大变革

（1）决策方式：目标驱动型→数据驱动

（2）方法论：

基于知识的方法→基于数据的方法

（3）计算方法：复杂算法→简单分析

（4）管理方式：业务数据化→数据业务化

（5）研究范式：第三范式→第四范式

（6）数据的属性：数据是资源→数据是资产

（7）数据处理模式：小众参与→大众协同

（8）思维方式：抽样思维→整体思维+相关思维+容错思维