Hadoop
清风的BLOG
专注Linux、Python、自动化、云计算、高可用、数据库。
展开
-
HDFS 原理讲解漫画 之一 ----系统构成和写数据过程
分布式文件系统比较出名的有HDFS 和 GFS,其中HDFS比较简单一点。 本文是一篇描述非常简洁易懂的漫画形式讲解HDFS的原理。比一般PPT要通俗易懂很多。 三个部分: 客户端、Nameserver(可理解为主控和文件索引,类似Linux的inode)、Datanode(存放实际数据) 以上,client的形式有两种 通过Hadoop提供的api所编写的程序可以和hdfs进行交...翻译 2019-04-23 15:26:32 · 244 阅读 · 0 评论 -
HDFS 原理讲解漫画 之二 ---- 读数据和容错
1. 读数据原理 2. 容错-故障类型和故障检测翻译 2019-04-23 15:37:38 · 248 阅读 · 0 评论 -
HDFS 原理讲解漫画 之三 --- 容错和副本布局策略
1.容错-读写容错 2. 容错-DATANODE 故障 3. 布局策略 4. The End翻译 2019-04-23 15:44:08 · 371 阅读 · 0 评论 -
Zookeeper分布式协调工具
一、分布式协调技术概述 我们在了解zookeeper之前先了解一种技术---分布式协调技术。分布式协调技术主要用来解决分布式环境当中多个进程之间的同步控制。图中有三台机器,每台机器各跑一个应用程序,然后我们将这三台机器通过网络将其连接起来,构成一个系统来为用户提供服务,对用户来说这个系统的架构是非透明的,他感觉不到我这个系统是一个什么样子的架构,那么我们就称这种系统为分布式系统。 那我们接...原创 2019-06-17 15:05:39 · 376 阅读 · 0 评论