分布式
文章平均质量分 79
喜剧之皇
微信:Hurricane2015go
展开
-
删了HDFS又能怎样?记一次删库不跑路事件
一、事发背景二、应急措施直观的方案三、分析过程hdfs文件删除过程BlockManagerEditLoghdfs元数据的加载方案确定四、灾难重演五、经验总结一、事发背景 上个月的某一天,由于集群空间不足,公司有一位技术经理级别的大数据leader在通过跳板机在某个线上集群执行手动清理命令,疯狂地执行hadoop fs -rmr -skipTrash /user/hive/warehouse/xxxxx,突然,不知道是编辑器的问题还是换行问题,命令被截断,命令变成了``hadoop fs.原创 2020-08-13 18:43:54 · 2703 阅读 · 9 评论 -
kafka如何保证数据可靠性
一、必须知道的专业名词kafka中,每个partition可以有多个副本(Replica),分为leader、follower,正常情况下,客户端只向leader发送数据、leader消费数据,follower的出现是为了保证kafka数据的高可用和一致性,也是作为灾备的存在。再保证高可用的过程中,leader与follower进行数据同步时,产生的如下一些专业术语,都是基于partition之内的概念。为了方便理解,假设以下所有的描述,都是基于某个只有一个partition,partition里面有3个原创 2020-05-26 10:17:31 · 2295 阅读 · 0 评论 -
手撕RPC系列(2)—客户端基于stub动态代理的RPC
一、前言二、原理三、前置基础四、举例说明五、总结一、前言上一节 手撕RPC系列(1)—最原始的RPC通俗理解 中讲了一个最最简单的rpc思想的例子。那种方法的缺陷太多,平常写代码一般不会那样去写,今天我们在之前的基础上稍微进一步演进,引入stub的概念,stub在rpc里面是代理的意思,是个约定俗成的东西,所以不叫proxy,知道是这么个东西就行了。代理是干嘛的?我要做的事丢给别人去做,那个...原创 2020-04-15 23:54:53 · 1197 阅读 · 0 评论 -
手撕RPC系列(1)—最原始的RPC通俗理解
一、前言二、原理三、前置基础四、例子五、总结一、前言RPC(Remote Procedure Call)远程过程调用,简单的理解是一个节点请求另一个节点提供的服务。网上太多博文五花八门,一上来就netty、grpc、thrift、Protobuf、单体架构、分布式架构…一堆听不懂的名词,可能有些博主自己都不清楚什么情况,导致读者半天也搞不清rpc的本质。这里,我们从最最基础的东西开始讲起,本...原创 2020-04-15 00:01:21 · 857 阅读 · 1 评论 -
zookeeper在大数据生态的应用
一、简述二、基本概念1.数据结构2.Znode你应该了解的(1)节点类型(2)节点属性三、基本功能1.文件系统2.集群管理(1) 节点的加入和退出(2) Master的选举3.分布式锁机制(1) 排他锁(2) 共享锁4.监听与通知机制四、实际应用1.hadoop2.hbase3.kafka4.hive五、总结一、简述 在一群动物掌管的世界中,动物没有人类聪明的思想,为了保持...原创 2020-04-05 22:08:15 · 1098 阅读 · 0 评论