本文介绍了大数据的4V特征，包括大量化、多样化、快速化和价值密度低。重点讲解了Hadoop作为大数据处理的核心框架，其HDFS特点包括流式访问、write-one-read-many、本地计算和容错备份。此外，还提到了Hive作为基于Hadoop的数据仓库框架，简化了SQL查询在MapReduce上的实现。最后，讨论了大数据在精准营销、实时监控和智能决策等领域的典型应用。
大数据概述
数据的表现形式：
- 线下数据信息化：数据库、文字记录、照片……
- 互联网-移动互联网：网页数据、用户行为记录、数字图像……
- 传感器：设备监控、智能家居、摄像头……
大数据的4V特征：
- 大量化（Volume）：存储量大、增量大；
- 多样化（Variety）：来源多、格式多；
- 快速化（Velocity）：高速数据I/O；
- 价值密度低（Value）
大数据基础技术
一、工程技术
Hadoop介绍
Hadoop是一个能够对大量数据进行分布式处理的软件框架。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS 实现存储,而 MapReduce实现分析处理。
| 关系型数据库 | Hadoop | |
|---|---|---|
| 数据量 | GB | PB |
| 使用场景 | 点查询或更新 | 整个数据集，一次写多次读，没有更新 |
| 结构化程度 |
最低0.47元/天 解锁文章
扫一扫
8343
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
