hive
夸父追梦
这个作者很懒,什么都没留下…
展开
-
hiveshell命令错误
原创 2018-07-09 18:01:12 · 435 阅读 · 0 评论 -
hiveload数据到表中,查询出来全部为null
lload数据成功后,查询出数据均为null。查看创表语句后,文件格式如下:修改后的语句的如下:重新load后,查询结果如下:至此,问题已解决。...原创 2018-12-19 16:41:12 · 2750 阅读 · 0 评论 -
hive创建表字段说明是乱码
cdh的hive创建表后,表中的字段说明为乱码;查看了元数据库后,发现了元数据库的的编码集不是utf-8;在元数据库中,执行:alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8alter table TABLE_PARAMS modify column PARAM_VALUE...原创 2018-12-24 13:55:48 · 633 阅读 · 0 评论 -
hive分区表创建不成功
在创建hive分区表时,desc 该表时,分区不存在;重现执行了创表语句后,分区还是不存在;由此,想到了之前hive的元数据表中,删除了一行数据,是关于分区的记录;重新创建了该库该表,分区则存在...原创 2018-12-25 16:22:31 · 1039 阅读 · 0 评论 -
hive任务报错数组下标越界异常
1.问题描述:运行了长时间的任务,报了以下错误:2.无法复现该错误,待以后补充,仅以此作为个人笔记。原创 2019-09-18 09:28:49 · 1808 阅读 · 2 评论 -
数仓基于表级别的数据血缘分析
1.背景:数据血缘分析在日常的处理过程中非常重要,其分为应用级别、表级别和字段级别三种。在数据处理过程中,需要知道目标表的字段是来源于哪张原始表。对于简单的hsql来说我们很容易可以知道目标表的来源,但是复杂的hsql,想得到原始表不就那么方便了。故需要一个方法来便捷的导到目标表和来源表。2.hive源码中有名为NodeProcessor的接口,可以通过实现该接口来获取表级别的数据血缘分析。...原创 2019-09-30 11:07:44 · 3262 阅读 · 0 评论