hive
旧城里的阳光
大数据开发
展开
-
使用DataGrip执行Hive on Spark插入数据任务失败解决方案
使用DataGrip执行Hive on Spark插入数据任务失败解决方案报错1报错1org.apache.hadoop.hive.ql.parse.SemanticException:Failed to get a spark sess解决方案:1.去你的hive配置文件下找到hive-env.sh文件2.调大参数默认为256M,调大内存为2G,这样发在跑HIve on Spark 任务就可以成功,时间缩短。...原创 2021-03-12 19:51:05 · 1388 阅读 · 3 评论 -
Hive自定义UDTF函数解析JSON格式数组常见错误
Hive自定义UDTF函数解析JSON格式数组常见错误报错1报错2报错1导包不正确,方法名同名类似,引用错误。详细:使用IDEA打包把jar包上传hdfs指定目录下,生成永久函数。在调用时发现类型不能转换等错误。检查对比,源代码写的给他人开发案例一样。仔细检查发现原来包入错误,方法使用错误。对于这种错误很难找,在实际开发中,我们也可能经常遇到。因此我们需要重新打包重新在hive中生成永久函数。报错2Maven和IDEA带的BUG。在打包的时候,由于自身原因源代码有问题,不能实现需求,需要我们重新原创 2021-03-13 08:40:43 · 356 阅读 · 0 评论 -
Hive On Spark无法创建Spark Client问题分析
Hive On Spark无法创建Spark Client问题分析问题现象原因分析:解决方案:总结:问题现象在集群中进行Hive-On-Spark查询失败,并在HiveServer2日志中显示如下错误:[atguigu@hadoop102 bin]$ ods_to_dwd_log.sh 2020-06-15SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/opt/module/原创 2021-03-13 11:10:18 · 1706 阅读 · 0 评论 -
DWD层拉链表
DWD层拉链表用户维度拉链表怎样反拉链?用户维度拉链表变化表加上开始时间与结束时间字段,与初始化拉链表进行union all注释:默认地,UNION 操作符选取不同的值。如果允许重复的值,请使用 UNION ALLods用户变化表 union all 初始的拉链表 按照ID在按照时间排序需要注意overwrite,在进行左连接时候,存在新旧表反复使用现象,因此我们需要设定查询条件。需要对初始化拉链表(旧表)设定查询条件,这样数据就不会混乱。 select * from dwd_dim_use原创 2021-03-15 14:15:34 · 472 阅读 · 1 评论 -
Hive常见错误
Hive常见错误开窗函数执行问题解决方案开窗函数执行问题select mid_id, dt, rank() over (partition by mid_id order by dt) rkfrom( select mid_id, dt from dws_uv_detail_daycount where dt>=date_add('2020-06-25',-6) group by mid_id,dt);原创 2021-03-17 20:32:20 · 2521 阅读 · 0 评论 -
SQL四个特别重要语法
SQL四个特别重要语法left joinunion alljoin onfull joinleft join右边字段与左边字段匹配,右边匹配上就有,匹配不上补nullunion all字段数相同,类似同类型合并join on只关联能匹配上的字段信息,其余去掉full join左右全部关联上,关联不上补null,常用于表与表之间的新旧对比。...原创 2021-03-17 19:53:51 · 83 阅读 · 0 评论 -
Hive图形可视化
Hive数据可视化连接DBeaver连接hiveDBeaver连接hive1.hadoop集群开启,zk开启2.启动hive中的hiveServer2,启动的命令是: hive --service hiveserver23.开启DBeaver,新建连接4.选中hive,输入参数,对应主机和用户名5.点击编辑驱动配置6.点击测试连接,就可以连接上了接下来你就可以使用可视化界面操作hive命令啦...原创 2021-03-09 18:39:11 · 1973 阅读 · 2 评论