大数据基础技术和应用

大数据概述

数据的表现形式：

• 线下数据信息化：数据库、文字记录、照片……
• 互联网-移动互联网：网页数据、用户行为记录、数字图像……
• 传感器：设备监控、智能家居、摄像头……

大数据的4V特征：

• 大量化（Volume）：存储量大、增量大；
• 多样化（Variety）：来源多、格式多；
• 快速化（Velocity）：高速数据I/O；
• 价值密度低（Value）

---

大数据基础技术

---

一、工程技术

Hadoop介绍

Hadoop是一个能够对大量数据进行分布式处理的软件框架。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS 实现存储,而 MapReduce实现分析处理。

	关系型数据库	Hadoop
数据量	GB	PB
使用场景	点查询或更新	整个数据集，一次写多次读，没有更新
结构化程度