大数据概述
数据的表现形式:
- 线下数据信息化:数据库、文字记录、照片……
- 互联网-移动互联网:网页数据、用户行为记录、数字图像……
- 传感器:设备监控、智能家居、摄像头……
大数据的4V特征:
- 大量化(Volume):存储量大、增量大;
- 多样化(Variety):来源多、格式多;
- 快速化(Velocity):高速数据I/O;
- 价值密度低(Value)
大数据基础技术
一、工程技术
Hadoop介绍
Hadoop是一个能够对大量数据进行分布式处理的软件框架。
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS 实现存储,而 MapReduce实现分析处理。
关系型数据库 | Hadoop | |
---|---|---|
数据量 | GB | PB |
使用场景 | 点查询或更新 | 整个数据集,一次写多次读,没有更新 |
结构化程度 |