
Hive
文章平均质量分 63
Klingx
我思故我在。
[I think,therefore I'm.]
展开
-
因mapjoin加载内存溢出而导致return code 3
可以看到在执行mapjoin的时候出现了内存报错,由于最大内存值为5172101120,而进度55.2%的时候已经使用了2857332576,由于2857332576/0.552 = 5176327130 > 5172101120,所以报错return code 3。例行Hive作业报错。原创 2023-10-20 21:01:42 · 528 阅读 · 0 评论 -
Hive | 笔记总结20220708v3
笔记总结20210330v1Hive 模式区分场景应用:Hive 本地模式与Spark模式的区分使用:小结Hive 模式区分场景应用:Hive 本地模式与Spark模式的区分使用:1.一些小表的查询(group by /count /sum /max /min 等)可以使用本地模式进行,local本地模式直接读取HDFS的路径文件内容执行MapperReduce,在资源吃紧的时候,可以快速查询2.Spark模式用于跑一些大表的关联/大表取数方面,有很好的效果小结理解Hive的原理和在Hado原创 2021-03-30 10:55:50 · 481 阅读 · 0 评论 -
Hive 面试题 | 连续登陆天数统计
连续登陆天数统计题目分析SQL解析与总结题目分析1.已知table1,请用 hivesql 分别实现 table2 和 table3table1 为用户活跃信息表,其中active_dt 为活跃日期。usr_id|active_dtA |20200101 A |20200102 A |20200103 A |20200105 A |20200106 A |20200109 请用hivesql 实现 table2(计算用户当月截止每天的原创 2021-03-11 09:34:49 · 621 阅读 · 0 评论 -
解决:Error while compiling statement: FAILED: ParseException line 11:5 missing KW_END at ‘substr‘ near
hive 执行sql,报错:Error: Error while compiling statement: FAILED: ParseException line 11:5 missing KW_END at 'substr' near 'substr'line 11:11 missing EOF at '(' near 'substr' (state=42000,code=40000)sql如下:create table szdsjsxm_sj.xxx_10000453_jieguoR.原创 2020-07-21 11:00:15 · 7521 阅读 · 1 评论