trino连接mysql、hive时遇到的坑

最新推荐文章于 2023-09-28 13:30:13 发布
最新推荐文章于 2023-09-28 13:30:13 发布
阅读量1.4k 收藏
点赞数
分类专栏： trino安装 文章标签： hive mysql 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44990104/article/details/125499261
版权

浅浅记录一下trino 配置connector时候遇到的坑
trino安装connector时候官网描述的安装目录为etc/catalog
但是测试时候发现将配置文件放在这个目录下面，对应的配置文件没有生效
排查了一下trino自带的的catalog在的目录find / -name jmx.properties 结果显示在/etc/trino/catalog/目录下
在这里插入图片描述
所以 将你的mysql.properties文件以及hive.properties文件给放到/etc/trino/catalog/目录下 然后重启trino就可以了

我的trino安装版本为387
参考的官网文档地址为trino387官方文档

tone_xu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
trino-by-example:带有Apache Hive Postgres Metastore的Presto Trino
03-17
概述 这是创建带有配置单元的Presto / Trino群集的方法。 任务 下载客户端 证明书 配置环境/秘密 测试Trino连接 使用S3在Hive中创建表 使用Hive进行查询 使用Presto的查询 在Kubernetes中运行 下载客户端 curl -O trino https://repo1.maven.org/maven2/io/trino/trino-cli/353/trino-cli-353-executable.jar chmod +x trino 证明书 生成密钥库和信任库 keytool -genkeypair -alias trino -keyalg RSA -keystore certs/keystore.jks \ -dname "CN=coordinator, OU=datalake, O=dataco, L=Sydney, ST=NSW, C=AU" \ -
yanagishima:Trino，Presto，Hive，Elasticsearch，SparkSQL的Web UI
04-28
Yanagishima是Presto，Hive，Elasticsearch和Spark的开源Web应用程序。 访问以获取更多信息。 建造要求 Java 11 Node.js 快速开始 git clone https://github.com/yanagishima/yanagishima.git cd yanagishima git ...
Trino连接mysql
u013008898的博客
04-02 638
Trino连接mysql
Presto/Trino的Mysql Connector使用和查询下推优化
Bulut0907
03-15 2458
目录1. Mysql连接器2. 查询下推 1. Mysql连接器 底层是通过JDBC驱动来查询Mysql的数据源 一条SQL中有多个表，则会对应创建多个JDBC连接 在Mysql中准备数据 [root@bigdata005 ~]# [root@bigdata005 ~]# mysql -h bigdata005 -P 3306 -u root -pRoot_123 mysql: [Warning] Using a password on the command line interface can
Trino兼容Hive SQL方案探索
zdsx1104的专栏
04-26 2100
本文介绍了Trino，Presto兼容Hive SQL语法的多种方案，其中Coral是最好的方案。
【Trino实战】CentOS 部署Trino 集成Hive Elasticsearch
coding and writing and 承接需求
05-20 837
Trino的部署帮助文档
Presto/Trino的Hive Connector的使用(内部表、外部表、分区表)
Bulut0907
03-16 4795
目录 Hive连接器不使用Hive的运行环境，而是使用Hive Metastore服务获取元数据，再使用HDFS客户端直接从HDFS上读写数据。所以不能将SQL查询下推到Hive 配置hive.properties connector.name=hive-hadoop2 hive.metastore.uri=thrift://hive1:9083 ...
presto(trino)国产化环境的hive3的jar包
12-25
将jar包复制到trion-367安装包的plugin/hive目录下。支持银河麒麟、aarch64、国产化涉密专用操作系统。修改了源码以支持国产化操作系统的安全限制。
dbt,trino,mysql,clickhouse基础环境包
03-13
它不存储数据，而是作为一个统一的接口，可以连接到多种数据源，如 MySQL、Hive、Redshift 和 ClickHouse，实现跨数据源的查询。Trino 采用了优化的查询执行策略，使得数据分析师无需关心底层数据的分布，即可快速...
presto(trino-367)国产化rpm包
12-25
修改trino-367最新的源码，在银河麒麟，涉密专用操作系统、aarch64、国产化适配完成可直接使用的包。其中包括jdk-11.0.18、适配麒麟hadoop-3.1.3的so文件，并且支持hive2和hive3。
Trino(Presto345) on Hive知识总结及TPC-DS测试
TT-Learning
12-31 7212
文章目录1.PrestoSQL更名Trino2.PrestoSQL-345 与 Hive-3.1.0 的操作2.1 Presto连接Hive配置2.2 基础配置介绍2.2.1 在 Ambari 集群中操作 Hive 组件2.2.2 在 Presto 集群客户端操作2.2.3 Presto支持Hive的分区表操作2.3 优化，提高查询性能2.4 分区操作2.5 特殊列2.6 特殊表2.7 操作示例 Examples2.7.1 create schema（schema相当于MySQL中的数据库名称）2.7.2
配置hive后启动trino报错KrbException: no supported default etypes for default_tkt_enctypes
shy_snow的专栏
04-12 531
KrbException: no supported default etypes for default_tkt_enctypes 解决: 在 /etc/krb5/krb5.conf 文件的 libdefaults 部分中设置 allow_weak_crypto = true,然后重启Trino。这是因为jdk-17默认禁用了arcfour-hmac-md5-exp、des-cbc-md5 和 des-cbc-crc 弱加密类型。
Trino连接配置了kerberos的hive
最新发布
weixin_45249411的博客
09-28 491
【代码】Trino连接配置了kerberos的hive。
如何排查Trino常见报错问题
书忆江南的IT博客
07-03 2030
Trino权威指南》第12章及周边涉及知识，基于392版本的使用层面入门书，引擎创始人亲自编写：中文翻译版《》第12章及周边，基于330版本。（1）编译原理基础（SQL语法解析token、生成AST抽象语法树、将AST生成执行计划并优化覆盖的过程，如《ANTLR4权威指南》）、《数据库系统内幕》等计算机专业通用底层课程；（2）《Presto技术内幕》等深入底层原理的Trino源码级书籍或博客。（3）《》等大数据平台全貌入门书。
trino安装及使用
q495673918的博客
10-21 3446
trino适合多数据源的即席查询，它是把数据通过connector拉取回来，然后使用自己的引擎进行关联运算，所以其速度必然受限于传输速度，不适合跨网络的大数据量的关联查询。像spark之类的查询引擎我们都是把尽量分发到数据存储的机器上，trino是把数据拿回来，这就是他们的差异所在。hive源配置如下，我们在catalog目录下创建文件hive.properties，core-site.xml,hdfs-site.xml可以从hadoop集群复制一份然后放到配置文件中。worker的基本配置如下。
【Trino实战】Hive connector功能性文档
coding and writing and 承接需求
05-31 1200
Hive connector 相关
Trino安装使用及权限控制
shy_snow的专栏
05-06 3663
Trino是一个分布式SQL查询引擎，旨在查询分布在一个或多个异构数据源上的大型数据集。支持丰富的数据源连接方式,支持库、表和字段级别的权限控制,以及支持通过资源组实现类似队列的资源使用控制。这些都需要手工进行配置，这是不方便的地方。
trino的安装和使用
weixin_41784087的博客
06-02 1212
trino安装，python 连接trino
trino 访问hive 添加jar包
05-16
Trino是一种用于分布式数据处理的开源框架，支持访问各种数据源。Hive是Hadoop生态系统中的一种数据仓库和分析工具，用于处理大规模结构化数据。在使用Trino访问Hive时，可能会需要添加一些自定义的jar包，以便在查询中使用自定义的函数或者数据类型。 要在Trino中访问Hive并添加jar包，通常需要按照以下步骤进行操作： 1. 首先需要启动Trino集群，并且确保能够成功连接到Hive。可以通过修改Trino的配置文件来指定Hive的连接参数。 2. 接下来，需要将自定义的jar包上传到Trino的文件系统中。可以使用Trino提供的命令行工具或者API来上传jar包，例如： ```shell trino-client upload my.jar ``` 3. 上传完成后，需要在Trino中添加自定义jar包的路径。可以通过修改Trino的配置文件或者执行SQL语句来添加路径，例如： ```sql SET session hive.customize-hive-session=true; SET session hive.customize-hive.session-config=my_config.xml; ``` 其中，my_config.xml是自定义的Hive配置文件，需要包含自定义jar包的路径等信息。 4. 最后，可以在Trino中通过SQL语句来使用自定义的函数或者数据类型。例如： ```sql SELECT my_function(col1, col2) FROM my_table; ``` 其中，my_function就是自定义的函数名，col1和col2是需要传递给函数的参数。如果自定义的函数或者数据类型没有成功加载，可能会出现错误提示。 总之，在Trino访问Hive并添加jar包时，需要确保掌握基本的Trino和Hive使用方法，并遵循适当的操作流程，才能确保成功完成任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值