- 博客(7)
- 收藏
- 关注
原创 一致性维度表 设计思路
1、设计目标尽可能生成丰富维度属性尽可能多给出有意义文字性描述 (xxx_id + xxx_name)沉淀出通用的维度属性 (需要复杂运算得到,比如商品的三级分类名称,需要JOIN品类表得到 category3 name)2、维度设计步骤确定主维度表 (例如商品主表)确定相关维表(商品相关的类目、卖家、店铺相关维表)确定维度属性的整合和拆分 (详细如下)3、维度属性的整合...
2019-07-22 20:08:18 2380
原创 三、Hera调度系统 待执行队列 入队和出队时机
简单介绍有一个队列(MasterContext.scheduleQueue)生产者:定时时间到、或者依赖任务都执行完,往队列里添加待执行的任务消费者:worker 定时去扫描队列里 是否有任务 需要执行一、定时任务如何往队列里 添加任务1、在Hera启动初始化时1、发送一条初始化的事件 Events.InitializeexecuteJobPool.execute(() -> ...
2019-07-22 15:12:25 353
原创 二、Hera调度系统初始化、生成和清理版本
先了解Hera代码里一些基本数据结构Event事件、不同任务类型的Listener、Dispatcher一、初始化 Listener、Dispatcher.jobHandlers// Master.javapublic void init(MasterContext masterContext) { ... executeJobPool.execute(() -&...
2019-07-22 11:16:51 350
原创 一、Hera调度系统基本数据结构(Event、Listener、Dispatcher)
简单介绍参照文章 zeus源码剖析之事件处理机制了解Hera也是使用着 观察者模式 进行对事件处理。其中老鹰是 Event事件,母鸡是 不同任务类型的Listener, 小鸡是 Dispatcher.jobHandlers一、Event事件有Job的失败事件、漏跑事件、成功事件,更新事件等二、不同任务类型的ListenerHearAddJobListener处理HeraJob...
2019-07-22 00:20:54 445
原创 YARN假死处理(JOB超过10000个)
背景YARN有资源,但有很多JOB处于PENDING状态,获取不到资源。这时查看 resourcemanager log日志,发现有大量的以下信息。resourcemanager.RMAppManager (RMAppManager.java:checkAppNumCompletedLimit(267)) - Application should be expired, max number...
2019-07-06 14:00:57 3146
原创 zeus调度工具启动慢(zeus_action数据量太大)
记一次由于zeus服务停止后,启动花了半小时时间。MasterContext 初始化// MasterContext.javapublic void init(int port){ log.info("init begin"); ... master=new Master(this);}Master 初始化费时间的部分 GroupManagerTool.buildGlobeG...
2019-07-03 22:43:09 385
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人