数仓搭建
Allen-1
相信爱与坚持,玩转生命乐趣
展开
-
1.FAILED: ParseException line 1:0 character ‘‘ not supported herehive 原因:文件格式编码 2.时间相差小时数的计算
1.FAILED: ParseException line 1:0 character '' not supported herehive 原因:文件格式编码 2.时间相差小时数的计算原创 2022-06-15 11:53:31 · 438 阅读 · 0 评论 -
如何用shell脚本判断hive数据库是否导入dt分区的数据?
如何用shell脚本判断hive数据库是否导入dt分区的数据?如何用python去除文件目录下所有文件的首行?原创 2022-03-29 00:55:59 · 2574 阅读 · 0 评论 -
Permission denied: user[admin] does not have [TEMPUDFADMIN] privilege on [global]以及 数仓的ods建设几点tips分享
Ranger的使用1.问题:Hive无法添加UDF函数2.解决办法:开通Ranger的权限3. add jar hdfs://10.63.2.16:50070/user/udf/hive-udf-1.0.jar;(hdfs://10.63.2.16:50070 这部分前缀也可不要,主要看哪种方式能找到本地文件)总结:没有权限的时候,找到权限不足的用户,赋予权限数仓的ods建设统一文件的输出的日期标准:YYYYmmdd或者YYYY-mm-dd,不要夹杂,后期改动耗时间。编码格式,UTF原创 2022-03-23 00:29:26 · 3076 阅读 · 0 评论