大数据基础001——大数据概述

大数据基础001——大数据概述

---

一. 大数据关键技术

• 分布式存储、分布式处理是大数据技术的两大核心。
• 分布式存储：包括分布式数据库（如BigTable）、分布式文件系统（如GFS）。
• 分布式处理：分布式并行处理技术（如MapReduce、Spark）。

二. 常见的数据处理方式

• 批处理计算： 大规模数据批量处理。
• 流计算： 流数据的实时计算。
• 图计算： 大规模图结构数据的处理。
• 查询分析计算：大规模数据的存储管理与查询分析。

三. 云计算

• 什么是云计算？

• 解决海量数据的分布式存储、分布式处理。
• 特点： 虚拟化、多租户。
• 定义： 通过网络以服务的方式为用户提供廉价的IT资源。

• 三种云服务：

• IaaS：面向网络架构师，基础设施即服务。
• PaaS：面向应用开发者，平台即服务。
• SaaS：面向用户，软件即服务。

四. 物联网

• 即物物相连的互联网。
• 感知层、网络层、处理层、应用层。
• 识别与感知是两个大关键技术。