点滴记录

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。     初始化时，数据会被划分成很多小块，以的形式呈现。用户程序会分配一个master进程和很多个worker进程。     任务开始时，master会将任务分为两种（map和reduce），并分别为他们分配worker进程。     master的任务是：给map和reduce的worker分别分配任务；检

一个GFS集群包含一个Master节点（逻辑上的）和多台Chunk服务器。如图：       这些chunk服务器通常是普通的Linux机器。GFS中的每个文件被划分成为多个Chunk，每个Chunk默认为64MB，Chunk服务器存储的是Chunk的副本，副本以文件形式存储。       master管理所有文件系统的元数据，包括：文件名字空间；Chunk与文件名字的映射以及Chun

NoSQL，即not only SQL，是一种非关系数据存储，不使用SQL语句进行查询。     CAP，BASE和最终一致性是NoSQL数据库存在的三大基石。     CAP原理：    C:Consistency 一致性     A: Availability可用性(指的是快速获取数据)     P: Tolerance of network Partition分区