x小时速通《物联网导论》

第七章           大数据

定义：大数据是指其大小超出了常规数据库工具获取、储存和分析能力的数据集

4V特征：大量（Volume）、多样（Variety）、高速（Velocity）、价值（Value）

网络化存储

直接附加存储（Direct-Attached Storage, DAS）

存储系统通过缆线直接与服务器或工作站相连

包括多个硬盘驱动器

不存在其他网络设备

实现计算机内存储到存储子系统的跨越

网络附加存储（Network Attached Storage, NAS）

文件级计算机数据存储架构

计算机连接到一个仅为其他设备提供基于文件级数据存储服务的网路

存储区域网络（Storage Area Network，SAN）

存储设备  通过网络方式（SAN连接设备）连接应用服务器

特点：存储共享、支持服务器从SAN直接启动

数据中心

 大数据处理

Goohle File System

设计观念：

组件失效是正常现象

文件巨大

特定模式操作文件

应用程旭和文件系统API协同设计提高系统灵活性

设计架构：       主服务器+块服务器（将块存储在本地硬盘上）+文件（固定大小的块+64位标识）

 主服务器维护所有文件系统的元数据

GFS客户端代码被嵌入到每个应用，实现文件系统API

MapReduce

针对超大规模数据集的编程模型和系统

BIgTable

管理结构化数据的分布式存储系统

稀疏的、分布式的多维有序图，按行键值、列键值和时间戳建立索引

Hadoop

分布式计算开源框架