![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
--洗洗睡吧--
吹累了,就睡会。
展开
-
hive解析hql的bug,先记录下
—结果不正确,只找到1号数据,平均数没有计算出来,都是6.1的数据select platform,b.week_of_year ,content_type_id,cast(avg(uv) as decimal(15,2)) as week_avg_uv ,cast(avg(pv) as decimal(15,2)) as week_avg_pv,cast(avg(duration) as decimal(15,2)) as week_avg_duration,cast(avg(l1_pai_uv)原创 2020-06-03 14:53:26 · 204 阅读 · 0 评论 -
hive处理分割后分组取最大值的udf
hive处理分割后在分组取最大值的udf,该udf定制化开发比较严重,这里只为保存下脚本。package com.lisardon.udf;import java.util.ArrayList;import java.util.Arrays;import java.util.List;import org.apache.hadoop.hive.ql.exec.UDF;public ...原创 2020-01-08 10:25:52 · 574 阅读 · 0 评论 -
python查找hive表是否缺少日期分区脚本
python查找hive表是否缺少日期分区脚本#-*-coding:utf-8 -*-import osimport sysimport datetimeimport subprocessreload(sys)#获取hive表对应的文件存储目录def get_hdfs(tb): my_cmd = """hive -S -e "desc formatted """ + tb...原创 2020-01-08 10:18:03 · 312 阅读 · 0 评论 -
hive中APP版本号比较的udf
hive中APP版本比较的udfpackage com.lisardon.udf;import java.util.regex.Pattern;import org.apache.hadoop.hive.ql.exec.UDF;public class AppVersionCom extends UDF { public String evaluate(String str1,...原创 2020-01-08 10:13:33 · 449 阅读 · 0 评论 -
python导出hive数据到excel中
使用python导出hive数据到excel中# -*- coding: utf-8 -*-import osimport sysimport reimport subprocessimport xlwtimport timedef exec_shell(cmd): res = subprocess.Popen(cmd, shell=True, stdout=subpro...原创 2019-12-24 14:40:44 · 1537 阅读 · 0 评论 -
hive查找json的键值是否存在的udf
hive查找键值是否存在的udf,直接上代码。package com.autohome.udf;import java.util.Iterator;import org.apache.hadoop.hive.ql.exec.UDF;import org.json.JSONException;import org.json.JSONObject;public class FindJs...原创 2019-12-19 17:24:49 · 855 阅读 · 0 评论