Apache Iceberg数据湖与Trino的集成

1. 介绍

Trino连接Iceberg的Connector，需要通过Hive的metastore，查询每个partition的HDFS location，然后获取partition下的metadata文件信息

2. 配置Connector

在所有节点上新建catalog配置文件

[root@bigdata001 catalog]# pwd
/opt/trino-server-375/etc/catalog
[root@bigdata001 catalog]#
[root@bigdata001 catalog]# cat iceberg.properties 
connector.name=iceberg
hive.metastore.uri=thrift://bigdata003:9083
[root@bigdata001 catalog]# 

对于HA高可用的HDFS，需要在Trino所有节点的etc/catalog/iceberg.properties添加如下配置

hive.config.resources=/opt/hadoop-3.3.1/etc/hadoop/core-site.xml,/opt/hadoop-3.3.1/etc/hadoop/hdfs-site.xml

重启所有节点trino