hadoop
longxibendi
这个作者很懒,什么都没留下…
展开
-
分布式调度,分布式事务,分布式执行计划
一.问题描述最近在做分布式调度系统,用于把全网流量,在两个机房之间切换,切换时间控制在5分钟内。在做调度系统中,需要涉及到dns,高防,接入层集群,应用层集群,中间层集群,消息系统集群,数据库集群,缓存集群,ES集群,CICD,监控等等。为了保证切流成功。采用两个策略:1.各层级切流各自独立,互不干扰。2.统一调度集中统一。现在就讲讲统一调度。统一调度,需要再发指令调度下级个层级集群完成流量切换。有一个问题,如何做到高效、快速、精准、一致。最好的结果是各层级切流都成功,或都失败。..原创 2020-07-14 11:51:38 · 803 阅读 · 0 评论 -
kudu性能优化
一.背景一个实时业务,数据流 app -> nginx ->lua ->kafka -> spark streaming ->kudu ->zepplin 。打开zepplin,实时数据出不来。看不到。二.问题分析-结合链路1.近期流量暴涨,单个用户的使用时长,由1-1.5h增加到 8-10h。2.大量数据进入kakfa,得不到spa...原创 2020-03-19 13:24:20 · 5034 阅读 · 0 评论 -
An In-Depth Look at the HBase Architecture
from:https://mapr.com/blog/in-depth-look-hbase-architecture/In this blog post, I’ll give you an in-depth look at the HBase architecture and its main benefits over NoSQL data store solutions. Be sure...转载 2018-08-20 20:37:48 · 681 阅读 · 0 评论