Hive问题合集
A杂家
一直向东其实也是向西
展开
-
hive:insert into/overwrite插入分区详解
最近在做数据清洗的工作,从ods层到dwd层对数据进行标准化。有多张表需要汇入主题表,因为表中的字段比较多,况且也不统一,需要从指定字段拿数据,并且清洗,最后汇入主题表。PS:又结束了一天忙碌的工作,祝愿大家开心生活每一天。原创 2023-12-06 18:18:11 · 1568 阅读 · 1 评论 -
sqoop导出数据到hive使用desc formatted查询表numRows为0
目前是在做数仓,有个需求就是要展示ods层的总数据量,需要拿到每个表的总行数,如果每张表都要计算的话效率太低,所以想通过表的元数据拿到表的总行数,再做一个累加。analyze table 表名 partition(分区字段) compute statistics;analyze table 表名 compute statistics;原创 2023-12-06 13:04:58 · 175 阅读 · 1 评论