大数据技术导论
以大数据处理技术为平台,介绍涵盖数据采集、数据处理、数据分析等全过程的大数据处理知识。
课程内容
数据采集、大数据组织与管理、大数据处理技术、大数据分析、数据安全、数据可视化、大数据应用等。
大数据时代背景
四浪叠加:大数据、人工智能、物联网、5G
三要素:互联网、云计算(生产力)、大数据(生产资料)
大数据特征 – 4V
Volume [ˈvɒljuːm] : 数据量巨大 (量大)
Variety [vəˈraɪəti] : 数据类型多 (面广)
Velocity [vəˈlɒsəti] : 变化速度快 (快变)
Veracity [vəˈræsəti] : 价值密度低 (质低)
大数据处理过程
大数据处理系统
大数据思维
科学一范式 (经验范式):实验思维–科学归纳
科学二范式 (理论范式):逻辑思维–模型推演
科学三范式 (模拟范式):计算思维–仿真模拟
科学四范式 (数据密集型范式):数据思维–关联分析
补充:数据密集型范式是以数据考察为基础,联合理论、实验和模拟一体的数据密集计算的范式。