Trino连接配置了kerberos的hive

配置 hive.properties

hive.metastore.authentication.type				kerberos
hive.metastore.thrift.impersonation.enabled     false
hive.metastore.service.principal                hive/datasophon01@HADOOP.COM
hive.metastore.client.principal                 hive/datasophon01@HADOOP.COM
hive.metastore.client.keytab					/etc/security/keytab/hive.service.keytab
hive.hdfs.authentication.type					KERBEROS
hive.hdfs.impersonation.enabled					false
hive.hdfs.trino.principal						hive/datasophon01@HADOOP.COM
hive.hdfs.trino.keytab							/etc/security/keytab/hive.service.keytab
查询hive 提示Query failed (#20230928_021915_00043_fqy4j): Unable to create input format org.apache.hudi.hadoop.HoodieParquetInputFormat java.lang.ClassNotFoundException: Class org.apache.hudi.hadoop.HoodieParquetInputFormat not found


将hudi-trino-bundle-0.12.0.jar 添加至/opt/datasophon/trino-367/plugin/hive目录 重启trino即可

trino官网:https://trino.io/docs/current/sql.html

常用查询:

SHOW CATALOGS

show schemas from hive;

show tables  from hive.database;

select * from hive.datasophon.table

使用trino和hive查询数据量不一致:

set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;

 最近在找工作大佬们有合适的内推我一下 致以最崇高的敬意 微信:CallMeFlink

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Trino是一种用于分布式数据处理的开源框架,支持访问各种数据源。HiveHadoop生态系统中的一种数据仓库和分析工具,用于处理大规模结构化数据。在使用Trino访问Hive时,可能会需要添加一些自定义的jar包,以便在查询中使用自定义的函数或者数据类型。 要在Trino中访问Hive并添加jar包,通常需要按照以下步骤进行操作: 1. 首先需要启动Trino集群,并且确保能够成功连接Hive。可以通过修改Trino配置文件来指定Hive连接参数。 2. 接下来,需要将自定义的jar包上传到Trino的文件系统中。可以使用Trino提供的命令行工具或者API来上传jar包,例如: ```shell trino-client upload my.jar ``` 3. 上传完成后,需要在Trino中添加自定义jar包的路径。可以通过修改Trino配置文件或者执行SQL语句来添加路径,例如: ```sql SET session hive.customize-hive-session=true; SET session hive.customize-hive.session-config=my_config.xml; ``` 其中,my_config.xml是自定义的Hive配置文件,需要包含自定义jar包的路径等信息。 4. 最后,可以在Trino中通过SQL语句来使用自定义的函数或者数据类型。例如: ```sql SELECT my_function(col1, col2) FROM my_table; ``` 其中,my_function就是自定义的函数名,col1和col2是需要传递给函数的参数。如果自定义的函数或者数据类型没有成功加载,可能会出现错误提示。 总之,在Trino访问Hive并添加jar包时,需要确保掌握基本的TrinoHive使用方法,并遵循适当的操作流程,才能确保成功完成任务。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值