分布式系统
文章平均质量分 85
讨论分布式系统技术基础及应用,分布式大数据框架架构。
耀凯考前突击大师
路漫漫其修远兮,吾将上下而求索。
展开
-
浅析HBase:为高效的可扩展大规模分布式系统而生
什么是HBase关系型数据库与HBase的对比关系型数据库的局限性HBase的高效,分布式,可扩展性的设计理念HBase的数据模型什么是HBaseApache HBase是运行在Hadoop集群上的数据库。为了实现更好的可扩展性(scalability),HBase放松了对ACID(数据库的原子性,一致性,隔离性和持久性)的要求。因此HBase并不是一个传统的关系...翻译 2017-06-01 14:20:25 · 3844 阅读 · 2 评论 -
深入理解HBase的系统架构
HBase的构成RegionsHBase的HMasterZooKeeperHBase各组成部分之间的合作HBase的第一次读写HBase的META tableRegion Server的组成HBase的写操作步骤步骤一步骤二HBase的MemStoreHBase Region FlushHFileHFile的结构HFile的索引HBase的读合并(Rea...翻译 2017-06-07 17:34:16 · 19602 阅读 · 9 评论 -
详解Cassandra数据模型中的primary key
Primary key的基本使用方法Primary key的基本使用方法同关系型数据库中的primary key基本相同,既用来作为某一行数据的主键。我们用一个最基本的Cassandra表来作为例子。这种最基本的表可以被称为“静态表”。示例如下:CREATE TABLE users ( user_id uuid, name varchar, descriptio...原创 2017-08-21 07:27:48 · 6247 阅读 · 0 评论 -
浅析Merkle Tree——分布式系统数据校验的基石
什么是Merkle TreeMerkle Tree是一种基于哈希的数据结构。Merkle Tree是一种树状数据结构,该树中的每一个叶子结点都是一个数据块,而每一个非叶子结点都是其子结点组合的哈希。普遍性况下Merkle Tree是二叉树,也就是说Merkle Tree中的每一个结点有两个子结点。当然,Merkle Tree可以是多叉树,例如Ethereum平台所采用的。简单起见,本文我们仅讨...原创 2018-04-07 13:21:16 · 1916 阅读 · 0 评论 -
Spark流处理中的DStrem.foreachRDD()方法
Spark数据处理Spark作为分布式数据处理的一个开源框架,因其计算的高效性和简洁的API而广受欢迎。一般来说,Spark大部分时候被用来进行批处理。但现在Spark通过其SparkStreaming模块也实现了一定的流处理的功能。Spark流处理的过程Spark中的流处理实际上并不是真正的流处理。Spark实现流处理的方法是通过mini-batch来对输入数据进行分块(但这个分...原创 2017-05-14 10:30:07 · 3050 阅读 · 0 评论