hive
思知
这个作者很懒,什么都没留下…
展开
-
使用sql填充数据
使用sql填充数据1.创建表create table test (name string,activity string) row format delimited fields terminated by '\t';2.构造数据张三 吃饭张三 张三 张三 王五 打豆豆王五 王五 赵四 唱歌赵四 赵四 赵四 赵四 赵四 赵四 3.处理思路使用sum()over()开窗函数特性进行累积分组将非空的数据筛选出来进行分组将上两步的数据进行关联得到相应的数据原创 2021-12-02 10:27:11 · 2708 阅读 · 0 评论 -
hive杂记
#在beeline内部执行两个参数设置,即可格式化!set showheader false!set outputformat tsv2原创 2020-09-09 10:56:56 · 157 阅读 · 0 评论 -
hive on spark异常
hive on spark异常说明:hive on spark时因为之前在别的项目添加了超时参数:hive.server2.long.polling.timeout=600000; 所以本项目直接把conf直接拿来用了,但是运行时一直报以下超时错误,所以去掉就好了。搞了几个钟头,心疼自己,顺便刷完了《三十而已》,开心java.sql.SQLException: org.apache.thrift.transport.TTransportException: java.net.SocketTimeout原创 2020-08-03 05:00:14 · 623 阅读 · 0 评论 -
记一次很坑的hive udf经历
需求:UDF返回一个数组类型数据最初想法:返回ArrayList<String> 类型的数据,但是始终都获取不到实际的值,而是返回空的{} ,很是郁闷。找了半天怎么返回Array类型,找不到了,然后就说拼接字符串算了,让udf函数返回String,然后再在sql中通过split函数转成数组,然而,奇迹发生了,这次返回的String类型数据自动将转成数组了。真的邪了门了,我怀疑是hive缓存问题了,先这么着吧,没有集群权限,明天再说吧。import org.apache.hadoop.hi原创 2020-06-23 00:26:24 · 599 阅读 · 1 评论 -
hive 查询一个字段最大值的所在记录
hive 查询一个字段最大值的所在记录思路是: - 先查询出最大值 - 将这个最大值当做一张表然后去关联原有表 - 让这个原有表的字段和最大值这个字段去关联相等,则能找出最大值记录 select * from antenna a cross join (select max(VERTICAL) maxv from antenna ) as b where a.vertical=b.m...原创 2020-03-24 15:37:23 · 7263 阅读 · 2 评论