Hive
点滴笔记
点滴笔记、努力生活、加油!
展开
-
Hive | DISTINCT on different columns not supported with skew in data
SELECT count(distinct imei), count(distinct imsi), count(distinct phone), count(distinct mac ) FROM applog.xxx WHERE substr(dt,0,8) = '20191227' and os = 'android'在多个列上进行的去重操作...原创 2019-12-31 10:43:03 · 3310 阅读 · 4 评论 -
Hive | 记录下执行SQL时常见的参数设置
// 基本任务参数设置set mapred.reduce.tasks = 1; // 设置任务reduce个数set mapreduce.job.queuename = root.queueS1; // 设置任务执行队列 set mapred.child.java.opts = -Xmx8096m ; // 内存大小set mapred.job.name = 'Task1'; // 设...原创 2019-12-25 16:51:36 · 1357 阅读 · 0 评论