Hive
软工小透明
找个wlb的工作,做自己感兴趣的事情,人生才有意义
展开
-
数据仓库-shell脚本实现hive hdfs文件上传到目标ftp
总的来说就是一行一行的linux命令,组装起来就变成一个脚本了! #!/bin/bash cd /web/data/file/tmpjf rm -rf bm_jingfeng_export_zte_login_d_{Date_No}.txt rm -rf bm_jingfeng_export_cms_content_d_{Date_No}.txt rm -rf bm_jingfeng...原创 2019-12-10 18:05:30 · 577 阅读 · 0 评论 -
Hive之自定义函数UDF使用&实现时间段转小时批次demo
目录 0.需求来源 1.创建maven项目 2.上传jar包到hdfs上 3.创建函数 4.使用函数 0.需求来源 最近,接到这么一个需求,需要统计用户在一天中的各个时间段(比如02:00-09:00点)的电影播放时长,评估了一下需求,使用hiveql无法进行这种计算,因为我们的数据长这样: 数据是按天分区的,时长粒度也是为天的,要想分时段统计就必须要有小时分区的数据,况且它这...原创 2019-11-13 22:33:16 · 512 阅读 · 0 评论 -
Hive基本所有的application状态一直处于ACCPETED状态
最近早上来发现hive集群调度平台所有的任务都处于ACCPETED状态,之前以为是集群的原因,重启了之后感觉好了,结果第二天来还是同样的情况,排查了情况没看到报错信息,倒是看到了如下关键日志: not starting application as amIfStarted exceeds amLimit 大致意思就是不能运行应用因为所需要的资源已经超过最大资源了,如果你的也有类似日志,通过ya...原创 2019-11-07 17:23:23 · 880 阅读 · 0 评论