![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
编程
qq_38142901
这个作者很懒,什么都没留下…
展开
-
hive实现多列数组元素一一对应展开为行
有如下均为字符类型的数据,其中aa与bb里面放的是数组,且每一行,而不同行之间长度不不同,目标是想让aa,bb中的,如下方第2行展开后为图2所示.目标输出。原创 2024-03-01 17:27:16 · 383 阅读 · 0 评论 -
hive 分组后使用近期日期数据进行缺失值填充
有产品重量表,其数据如图所示,一共为四列,分别是日期inc_day,重量weights_value,产品类型product_name,与产品等级product_level.可以看到有些日期下的重量是缺失的,此时我想要拿近期同产品类型跟等级下的重量数据进行填充,也就是第二幅图这样。最后对求和,以及产品类型跟等级进行分组按日期排序取重量最大值,这样缺失的部分前面若有非缺失值,取最值,非缺失值则会被取到,否则继续为空,作为缺失处的值;然后对标记分组求和得到👇结果,可以看到缺失的地方不会进行累加,无缺失的会累加.原创 2023-12-26 19:40:36 · 478 阅读 · 0 评论 -
hive get_json_object传递可变参数
hive 复杂数据解析待解析数据字段与样例:样例1:request: TmPromiseReParam [calcMode=A, queryType=0, srcCode=662AA02P, destCode=752BK, consignTime=Fri Sep 24 11:21:00 CST 2021, weight=1.0, productType=T6, monthCard=null, srcAoi=662AA000832, destAoi=752BK000208, serviceCode=nu原创 2021-11-19 16:00:30 · 1527 阅读 · 0 评论 -
hive 获取某字段排序后倒数第n次的所有信息
hive 获取某字段排序后倒数第n次的所有信息牛客网sql题背景:有一个员工入职信息表empolyees,其中包含字段入职日期hire_date与其他相关信息字段。问题:要求获取倒数第n次入职的所有员工信息要求获取倒数第n次入职的一位员工信息解答:问题1:严格获取原表所有字段select * from employees where hire_date=(select distinct hire_date from employees order by hire_date d原创 2021-08-25 13:42:28 · 639 阅读 · 0 评论 -
访问Java接口
如何通过java访问http接口话不多说上代码,直接可用系列。package src.main.scala.com.sf.spark.otherimport com.alibaba.fastjson.{JSON, JSONObject}import org.apache.http.HttpEntityimport org.apache.http.client.config.RequestConfigimport org.apache.http.client.methods.{HttpGet,原创 2021-05-18 19:55:06 · 131 阅读 · 0 评论 -
scala 使用时间戳与时间互相转换类
借助java中的Date与Calendar实现时间类型互相转换时间戳:与1970年间隔的毫秒数-1621337596326时间string类型常见形式:“2021-05-18 19:33:16”1.获取当前时间2.获取昨天日期3.计算时间差4.指定日期和间隔天数,返回指定日期前N天的日期 date - N days5.指定日期和间隔小时,返回指定日期前N小时的日期 date - N days6.指定日期和间隔小时,返回指定日期后N小时的日期 date - N days7.时间与时间戳互相原创 2021-05-18 19:47:11 · 2387 阅读 · 0 评论 -
idea maven 打包报错 --xxxx\target\classes does not exist or is not a director --java: -source 1.5 中不支持 d
idea maven 打包报错 --xxxx\target\classes does not exist or is not a director --java: -source 1.5 中不支持 diamond 运算符1.xxxx\target\classes does not exist or is not a director在build project 之后,target会自动成,ackage仍报错;通过idea界面右侧maven,lifecycle下的clean,清除target,重新bu原创 2021-05-13 12:04:08 · 2306 阅读 · 0 评论 -
Hive 中 left outer join 与 left semi-join 的区别
Hive 中 left outer join 与 left semi-join 的区别测试数据为:1. left outer join语句:select * from table1 left outer join table2 on(table1.student_no=table2.student_no);结果:1 name1 1 111 name1 1 121 name1 1...转载 2019-10-15 17:41:05 · 338 阅读 · 0 评论 -
MySQL 中 having 和 where 的区别
MySQL 中 having 和 where 的区别区别一:where 是数据从磁盘读入内存时候一条一条判断的having 是将所有数据读入内存,在分组统计前,根据having的条件再将不符合条件的数据删除区别二:having 子句可以使用字段别名,where不可以用区别三:having可以使用统计函数,where不可用having筛选必须是 根据前面select字段的值 进行筛...转载 2019-10-15 16:53:29 · 94 阅读 · 0 评论