hive
文章平均质量分 59
三吱儿
这个作者很懒,什么都没留下…
展开
-
2021-03-30 hive impala udf 测试
udf 代码参考package org.ydd.hivetest;import org.apache.hadoop.hive.ql.exec.UDF;public class Null2Num extends UDF { public static String evaluate(String str, int range) { int seq = (int) (Math.random() * range); return str == null || s原创 2021-03-30 16:54:53 · 133 阅读 · 0 评论 -
2021-03-09 hive 参数设置
查看hive参数查看所有参数set查看block大小set dfs.block.size;dfs.block.size=134217728 --默认大小128Mmap个数(和inputsize相关)计算inputsplit size新API CombineHiveInputFormat Math.max(minSize, Math.min(maxSize, blockSize))老API HiveInputFormat Math.max(minSize, Math.min(goalSiz原创 2021-03-09 20:19:07 · 619 阅读 · 0 评论 -
2021-03-09 hive explain 执行计划分析2
hive explain 执行计划分析sql如下:explainselect fhddate,vouchtype,sum(quantity),row_number() over() rn,rank() over(partition by fhddate order by vouchtype) rkfrom jmkx_data.ods_dm_base_fhd_dd aleft join jmkx_data.ods_dm_base_fhd_detail_dd bon a.fhdid = b.fhdi原创 2021-03-09 14:30:07 · 148 阅读 · 0 评论 -
2021-03-09 hive explain 执行计划分析1
hive explain 执行计划分析sql如下:explainselect fhddate,vouchtype,sum(quantity)from jmkx_data.ods_dm_base_fhd_dd aleft join jmkx_data.ods_dm_base_fhd_detail_dd bon a.fhdid = b.fhdid and b.dt = '2020-03-08'where a.dt = '2021-03-08'group by fhddate,vouchtype原创 2021-03-09 11:32:40 · 81 阅读 · 0 评论