hive
沙漠的飞鱼
hadoop、hive工程师
展开
-
udf--根据开始日期和结束日期获取日期范围数组
代码在处理一些业务场景下的数据时,我们需要按照日期范围将日期补全,来实现某些业务场景下的需求。 我们需要的是,传入开始时间和结束时间,返回一个日期数组。hive原生函数里没有这种功能。所以我们需要自己来编写udf来实现。代码如下package com.zjs.udf;import org.apache.hadoop.hive.ql.exec.UDF;import java.text.ParseEx原创 2017-09-25 16:33:08 · 981 阅读 · 0 评论 -
udf--获取json字符串中所有的key
hive自带函数get_json_object(…)与json_tuple(…)都是只能获取json字符串中的value值,不能返回key相关的信息。以下的udf实现的是,获取json字符串中所有的keyspackage com.zjs.udf;import net.sf.json.JSONObject;import org.apache.hadoop.hive.ql.exec.UDF;impor原创 2017-09-18 15:36:01 · 6289 阅读 · 0 评论 -
hive启动报错解决Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
报错内容如下,提示连接不到元数据库[root@bigdata conf]# hivewhich: no hbase in (/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/bigdata/java/bin:/bigdata/hadoop-2.6.4/bin:/bigdata/hadoop-2.6.4/sbin:/bigda原创 2017-09-13 17:53:18 · 3627 阅读 · 0 评论 -
udf--获取系统当前时间
获取系统当前时间:package com.zjs.udf;import org.apache.hadoop.hive.ql.exec.UDF;import java.text.SimpleDateFormat;import java.util.Date;/** * Created by Administrator on 2017/8/2. */public class now extend原创 2017-08-02 11:30:48 · 1314 阅读 · 0 评论 -
hive--UDAF实例
问题:从日志表(uid,登录日期),求每个uid连续登录的最长天数 解决思路:自定义UDAF函数,将问题转换成求最长连续日期的问题package com.zjs.udaf;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.ArrayList;import java...原创 2018-05-02 17:59:11 · 1452 阅读 · 0 评论 -
hive表关联结果异常问题
sql:select a.order_code,b.order_idfrom (select order_codefrom ods.ods_lsh_oms_order_head where dt = '2018-08-05'group by order_code) ajoin (select order_idfrom default.mds_lsh_trade_ord...原创 2018-08-10 16:46:12 · 1873 阅读 · 0 评论