hive
--洗洗睡吧--
吹累了,就睡会。
展开
-
hive解析hql的bug,先记录下
—结果不正确,只找到1号数据,平均数没有计算出来,都是6.1的数据 select platform,b.week_of_year ,content_type_id ,cast(avg(uv) as decimal(15,2)) as week_avg_uv ,cast(avg(pv) as decimal(15,2)) as week_avg_pv ,cast(avg(duration) as decimal(15,2)) as week_avg_duration ,cast(avg(l1_pai_uv)原创 2020-06-03 14:53:26 · 211 阅读 · 0 评论 -
hive处理分割后分组取最大值的udf
hive处理分割后在分组取最大值的udf,该udf定制化开发比较严重,这里只为保存下脚本。 package com.lisardon.udf; import java.util.ArrayList; import java.util.Arrays; import java.util.List; import org.apache.hadoop.hive.ql.exec.UDF; public ...原创 2020-01-08 10:25:52 · 576 阅读 · 0 评论 -
python查找hive表是否缺少日期分区脚本
python查找hive表是否缺少日期分区脚本 #-*-coding:utf-8 -*- import os import sys import datetime import subprocess reload(sys) #获取hive表对应的文件存储目录 def get_hdfs(tb): my_cmd = """hive -S -e "desc formatted """ + tb...原创 2020-01-08 10:18:03 · 314 阅读 · 0 评论 -
hive中APP版本号比较的udf
hive中APP版本比较的udf package com.lisardon.udf; import java.util.regex.Pattern; import org.apache.hadoop.hive.ql.exec.UDF; public class AppVersionCom extends UDF { public String evaluate(String str1,...原创 2020-01-08 10:13:33 · 451 阅读 · 0 评论 -
python导出hive数据到excel中
使用python导出hive数据到excel中 # -*- coding: utf-8 -*- import os import sys import re import subprocess import xlwt import time def exec_shell(cmd): res = subprocess.Popen(cmd, shell=True, stdout=subpro...原创 2019-12-24 14:40:44 · 1540 阅读 · 0 评论 -
hive查找json的键值是否存在的udf
hive查找键值是否存在的udf,直接上代码。 package com.autohome.udf; import java.util.Iterator; import org.apache.hadoop.hive.ql.exec.UDF; import org.json.JSONException; import org.json.JSONObject; public class FindJs...原创 2019-12-19 17:24:49 · 860 阅读 · 0 评论