qq_22482081的博客

原子指标:和度量含义相同，某一业务行为事件下的度量，是业务定义中不可拆分的指标，如销售金额、库存数量。派生指标:修饰词和原子指标组合生成派生指标。如某个渠道的销售金额，渠道类型为修饰词，销售金额为原子指标，分销销售金额、智药通销售金额为派生指标修饰词:修饰词用于派生指标和复合指标的定义，不含有计算口径。指除了统计维度以外指标的业务场景，如某个维表的属性字段，客户类型，渠道类型。衍生原子指标:原子指标根据衍生词的计算口径加工得到的衍生原子指标。如近效期库存,近效期(所属业务单元内，

udf 代码参考package org.ydd.hivetest;import org.apache.hadoop.hive.ql.exec.UDF;public class Null2Num extends UDF { public static String evaluate(String str, int range) { int seq = (int) (Math.random() * range); return str == null || s

背景：同事写了很长一段sql，执行时间特别长，让我帮他优化一下执行引擎：spark 一个小时都跑不出结果，卡在mapshuffle阶段impala 不到一分钟出结果过程：多次调试：怀疑是GC引起的，尝试修改driver，executor内存，无效set spark.executor.memory = 4g;set spark.driver.memory = 10g;set spark.sql.adaptive.shuffle.targetPostShuffleInputSiz

查看hive参数查看所有参数set查看block大小set dfs.block.size;dfs.block.size=134217728 --默认大小128Mmap个数(和inputsize相关)计算inputsplit size新API CombineHiveInputFormat Math.max(minSize, Math.min(maxSize, blockSize))老API HiveInputFormat Math.max(minSize, Math.min(goalSiz

hive explain 执行计划分析sql如下：explainselect fhddate,vouchtype,sum(quantity),row_number() over() rn,rank() over(partition by fhddate order by vouchtype) rkfrom jmkx_data.ods_dm_base_fhd_dd aleft join jmkx_data.ods_dm_base_fhd_detail_dd bon a.fhdid = b.fhdi

hive explain 执行计划分析sql如下：explainselect fhddate,vouchtype,sum(quantity)from jmkx_data.ods_dm_base_fhd_dd aleft join jmkx_data.ods_dm_base_fhd_detail_dd bon a.fhdid = b.fhdid and b.dt = '2020-03-08'where a.dt = '2021-03-08'group by fhddate,vouchtype