工具使用
文章平均质量分 51
阿武z
这个作者很懒,什么都没留下…
展开
-
HBase二级索引 简易理解
一、解决的问题1、RowKey 例子RowKey: date__hive_table (存储着 每一天Hive表的元数据)以下需求 查询效率高1、最新一天的 hive_table 对应的元数据2、最新一天的 所有元数据2、新的需求(查询效率低)查询 hive_table 某一段时间的元数据详情3、总结由于RowKey索引单一,二级索引用来 `解决多维度的查询困难`二、对于...原创 2020-02-19 01:58:26 · 360 阅读 · 0 评论 -
python使用ChartDirector绘图
下载(安装的方式比较特殊)官网下载 安装查看python site-packages位置>>> import sys>>> print sys.path['', '/Library/Python/2.7/site-packages/ply-3.10-py2.7.egg', '/Library/Python/2.7/site-pack...原创 2018-08-04 14:10:56 · 1232 阅读 · 0 评论 -
钉钉机器人+Mac定时Launchctl
添加钉钉机器人webhook地址是 post请求的url机器人开发文档python 代码# its_time_to_book_dinner.py# coding:utf-8import requestsdingtalk_url = "https://oapi.dingtalk.com/robot/send?" \ "access_t...原创 2018-08-04 14:12:25 · 1055 阅读 · 1 评论 -
zeus调度工具启动慢(zeus_action数据量太大)
记一次由于zeus服务停止后,启动花了半小时时间。MasterContext 初始化// MasterContext.javapublic void init(int port){ log.info("init begin"); ... master=new Master(this);}Master 初始化费时间的部分 GroupManagerTool.buildGlobeG...原创 2019-07-03 22:43:09 · 404 阅读 · 0 评论 -
HIVE 字段级血缘分析 写入Neo4j
Step 1. 利用HIVE Hook LineageLogger 获取字段之间的依赖关系注意:LineageLogger Hook 是Hive2.0版本之后存在的,如果HIVE版本不够需要升级HIVE版本。PS.CDH有的HIVE版本添加此功能下面以hive 2.5.3版本为例添加参数vim /usr/local/hive/conf/hive-site.xml<property&...原创 2019-06-28 19:11:06 · 12137 阅读 · 9 评论 -
一、Hera调度系统基本数据结构(Event、Listener、Dispatcher)
简单介绍参照文章 zeus源码剖析之事件处理机制了解Hera也是使用着 观察者模式 进行对事件处理。其中老鹰是 Event事件,母鸡是 不同任务类型的Listener, 小鸡是 Dispatcher.jobHandlers一、Event事件有Job的失败事件、漏跑事件、成功事件,更新事件等二、不同任务类型的ListenerHearAddJobListener处理HeraJob...原创 2019-07-22 00:20:54 · 484 阅读 · 0 评论 -
二、Hera调度系统初始化、生成和清理版本
先了解Hera代码里一些基本数据结构Event事件、不同任务类型的Listener、Dispatcher一、初始化 Listener、Dispatcher.jobHandlers// Master.javapublic void init(MasterContext masterContext) { ... executeJobPool.execute(() -&...原创 2019-07-22 11:16:51 · 378 阅读 · 0 评论 -
三、Hera调度系统 待执行队列 入队和出队时机
简单介绍有一个队列(MasterContext.scheduleQueue)生产者:定时时间到、或者依赖任务都执行完,往队列里添加待执行的任务消费者:worker 定时去扫描队列里 是否有任务 需要执行一、定时任务如何往队列里 添加任务1、在Hera启动初始化时1、发送一条初始化的事件 Events.InitializeexecuteJobPool.execute(() -> ...原创 2019-07-22 15:12:25 · 382 阅读 · 0 评论