大数据技术复习--概述

概述

数据的概念：数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合，是可识别的、抽象的符号。

数据类型：文本、图片、音频、视频

从数据的结构化程度来看可以分为:

• 结构化数据
• 半结构化数据
• 非结构化数据

数据生命周期：创建、发布利用、修改、归档/销毁
数据的使用：1. 数据清洗、2.数据管理、3. 数据分析

OLTP:联机事物处理，高并发且数据量级不大的查询，是主要用于管理事物的系统
OLAP：联机事物分析处理，是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果
ETL：抽取、转换、加载，是数据获取的重要手段，需要知道具体格式
ELT：ETL的时间成本和吞吐量限制（堵塞），导致ETL这种数据加工的方式不能满足于现在的企业发展需要
把Transform（转换）和Load（加载）拆开，这样处理数据的部分就专心计算就行了，搬运数据的部分就专心搬运

大数据定义

大数据是大到无法通过现有手段在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息

V	描述
Volume	规模大，达到难以处理
Variety	类型多，多到难以处理
Velocity	速度快，快到难以处理
Value	有价值，价值密度稀疏
Veracity	真实性，数据质量有保障

科学研究的四范式

1. 实验
2. 理论
3. 计算
4. 数据

大数据技术属性