Hive
满岛菜鸟
励志成为大神的菜鸟
展开
-
Hive报错:stage24 contains a task of very large size;the maximum recommended task size is 100kb
在一个SparkSQL任务中,由于每隔5分钟就要调度一次,偶尔在任务中会出现这个错误:stage24 contains a task of very large size;the maximum recommended task size is 100kb奇怪的是:这个错误有时候并不会干扰程序的正常运行,但是有时候又会导致程序的异常中断,所以在查阅了大量的相关资料之后,采用下面三个方法的组合:(1)调整shuffle partition的数:之前为了避免产生大量的小文件,只使用了10分区,后来调整原创 2022-03-01 15:13:42 · 3215 阅读 · 0 评论 -
Hive-map类型数据的声明、存储和读取
在Hive中,map是及其重要的数据类型之一,尤其是在处理生产环境中的事件埋点数据时会有举足轻重的地位,所以我们有必要了解和掌握其是如何存储和使用的。1.map类型数据的声明DROP TABLE IF EXISTS tmp.tmp_str_to_map;CREATE TABLE IF NOT EXISTS tmp.tmp_str_to_map(ocolumn string comment '原始字段',rcolumn map<string,string> comment 'map字段原创 2020-05-25 15:35:19 · 5048 阅读 · 0 评论