weixin_37042673的博客

1 针对按照时间分区的分区表，可以设置增量构建cube，partion start date 设置开始日期，auto merge thresholds 表示 每日构建一个segment, 7 天小合并，28天大合并 2 设置聚合组，可以设置多个聚合组，inclues选定该聚合组的维度，mandatory 设置必选维度， hierarchy 设置层级维度， joint 设置1：1 出现的维度 例如province_id 与 province_name 3 rowkey 设置， 频繁使用的过滤条件.

sqoop同步数据流程decimal 文章目录sqoop同步数据流程decimal指定输入类指定orm指定输入类指定输出类指定输出路径指定mapper类map方法toAvro方法record 的put 方法第二步merge任务入口merge目录runMergeJob方法配置output配置mapper和reduce方法merge过程的map方法merge的reduce方法源码修改的源码 指定输入类 指定输入类 ImportJobContext.class public ImportJobContext(

触发式azkaban 文章目录触发式azkaban流程图添加任务执行azkaban任务获取sessionIdshell脚本中的回调命令azkaban回调函数 流程图 添加任务 添加任务 ZSYMethodsInfoServiceImpl.java // 添加任务 methodStatJobMapper.insert(methodStatJob); // 如果当前没有任务，该任务状态直接变为prepare,直接执行 if (methodStatJob

okhttphelper 文章目录okhttphelperokhttphelper okhttphelper okhttphelper OKHttpHelper.class // // Source code recreated from a .class file by IntelliJ IDEA // (powered by FernFlower decompiler) // import com.alibaba.fastjson.JSONArray; import com.alibaba.f

ES中语句查询es语句 es语句 #get 请求logstash-zsy-api索引，logs类型的内容 GET /logstash-zsy-api/logs/_search { # 查询结构不展示 "size": 0, "query": { "bool": { "must": [ { "match": { "requestUri": "GET[/ims/goods/up/list]" }

kylin 的cube 构建 1 新建项目(略) 2 新建model 2.1选事实表和维度表 如果维度表小，可以存到内存中，就不用skip snapshot for this lookup table 2.2 维度 2.3 度量 2.4 过滤条件 3 新建cube 3.1 维度选择（维度表的method_name的类型为derived，构建cube时不计入cube的维度，cube构建后通过外键method_id来推导出来method_name对应的维度信息） ...

kylin的datasource配置 文章目录kylin的datasource配置parquet(decimal)kylin的datasourcekylin 配置获取kylin datasourceconnection 的代理对象生成构造方法invoke方法wait方法notify方法 parquet(decimal) spark写parquet数据，decimal类型在hive中无法识别问题解决 StudentExamScoreStatSpark.java //处理个别数据类型(eg. decimal

logback配置文件 文章目录logback配置文件logback-spring.xml logback-spring.xml logback配置文件 logback-spring.xml <?xml version="1.0" encoding="UTF-8"?> <configuration debug="false"> <!--定义日志文件的存储地址 勿在 LogBack 的配置中使用相对路径--> <!--定义变量，在下面可以通过${x

一 配置gradle 1 官方网站：https://gradle.org/install/#manually 提供了两种下载方式，Binary-only是只下载二进制源码，Complete, with docs and sources是下载源码和文档。如果有阅读文档的需求可以下载第二个，没有需要的下载Binary-only即可。 2 配置环境变量（gradle user home 使用maven 仓库），并添加到path 路径 3 配置gradle仓库源 allprojects {..

idea 插件文档 文章目录idea 插件文档新建action展示添加笔记标题备注弹窗笔记列表对话窗笔记列表对话窗补充写出文档使用freemark写文档接口写文档具体实现ftl文件 新建action 新建一个action，在右键菜单栏中多出一个添加笔记的工具，并且通过api 获取选取的内容以及文件名称和文件类型，将这些信息保存在公共类中，方便掉用 PopupAction.java public class PopupAction extends AnAction { /** * 获