![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
云想慕尘
这个作者很懒,什么都没留下…
展开
-
hive 修改表结构后回溯数据发现新增字段值为空的问题解决方案
问题描述通过alter table 增加字段:ALTER TABLE dw.video_profile CHANGE p_album p_album string AFTER p_content_phrase;ALTER TABLE dw.video_profile CHANGE p_content_quality p_content_quality string AFTER p_album;然后回溯数据,overwrite写到昨日分区,写完后查询发现昨日分区新增的字段中值为空。原因hive原创 2022-03-03 20:35:22 · 2768 阅读 · 0 评论 -
hive执行insert overwrite失败,报错 could notbe cleaned up错误
问题描述用户zhangsan执行insert overwrite:INSERT OVERWRITE table temp.push_temp PARTITION(d_layer='app_video_uid_d_1')SELECT ...报错目的目录无法清理——could not be cleaned up:Failed with exception Directory hdfs://Ucluster/user/hive/warehouse/temp.db/push_temp/d_layer原创 2021-11-29 16:40:22 · 5964 阅读 · 0 评论 -
一个查询ip归属地的hive udf
背景工作中会用到查询ip归属地的场景,购买了ip库数据,因官方不提供数据遍历方案,所以无法全量导入到hive中,只能使用udf进行查询。数据源来自https://www.ipip.net/,数据格式为.ipdb,如:ipv4_china_cn.ipdb。udf编码maven pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"原创 2021-07-01 15:52:10 · 1081 阅读 · 0 评论 -
hive 非正确json格式字段造成查询错误
1. 问题hive查询报错:Diagnostic Messages for this Task:[2020-04-02 05:32:04,360] {bash_operator.py:110} INFO - Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row [Error getting row data原创 2020-06-20 16:11:18 · 1055 阅读 · 0 评论