Dbeaver,Hudi,Hive,Spark,Presto应用问题及解决措施梳理

近期频繁在mysql源端数据通过底层位Flink的平台进行数据接入至Hudi,过程中出现了一些问题,也通过了其他办法进行解决,现将整个过程的思路进行总结,以供大家共同学习进步。

问题1:基于Dbeaver工具,新建的Hudi表无法进行更新(即表结构,新增字段等);

解决措施:在Dbeaver中集成spark的包,通过sparkSQL的方式进行Hudi表的新建,解决表无法更新问题。

问题2:新建的Hudi表以及数据接入Hudi后,如何查看数据;

解决措施:在Dbeaver中集成Presto包,通过Presto的方式对Hudi数据及表进行查询。

问题3:基于Flink的平台,当源端数据更新或删除后,通过Hive方式输入时数据无法同步更新显示;

解决措施:在Flink的平台中,通过集成Hudi输入包,解决源端数据更新或删除后,平台未同步更新的问题;

总结:

1.hudi建表:在Dbeaver中使用spark方式(便于表管理);
2.Dbeaver中数据查询:presto方式(提升查询速度);
3.基于Flink的平台中数据链接方式:Hudi输入包(平台);  

  • 7
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
DBeaver是一个可视化工具,用于连接数据库。要连接Hive数据库,你需要按照以下步骤进行设置: 1. 首先,在服务器上启动Hive的metastore服务和hiveserver2服务。你可以使用以下命令启动服务: [1] 2. 然后,通过jps命令查看两个RunJar服务是否成功启动。 [2] 3. 打开DBeaver,创建一个新的Hive连接。 4. 填写主机地址和登录信息。 5. 配置驱动是连接Hive的关键步骤。首先删除默认的驱动,然后将Hive安装目录下的jdbc目录中的jar包添加到DBeaver的驱动配置中。 [2] 6. 确认设置后,测试连接。确保在测试连接之前已经启动了hiveserver2服务和metastore服务。 [2] 如果你遇到无法连接到Hive库的问题,可以尝试以下解决方法: - 将Hive安装目录下lib目录中的所有jar包全部添加到DBeaver中,然后再次尝试连接。这可能会解决由于驱动问题引起的连接错误。 [3] 希望以上步骤能够帮助你成功连接DBeaverHive数据库。如果还有其他问题,请随时提问。123 #### 引用[.reference_title] - *1* *3* [使用DBeaver远程连接hive数据库](https://blog.csdn.net/weixin_45479126/article/details/122129652)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item] - *2* [如何使用DBeaver连接hive](https://blog.csdn.net/DTFT_/article/details/118728269)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值