数据湖之iceberg系列(五)-hive处理iceberg中的数据

最新数据湖视频 

易学课堂

1 将iceberg-hive-runtime-0.10.0.jar包添加到hive的lib包下 , 或者是在客户端使用add jar 添加到项目中 

2 设置参数  / 或者在hive-site.xml中设置

3  读取catalog为hadoop的表中的数据 , 需要完成hive表和hadoop表的映射 

SET engine.hive.enabled=true; 
SET iceberg.engine.hive.enabled=true ;

CREATE EXTERNAL TABLE tb_user2
STORED BY 'org.apache.iceberg.mr.hive.HiveIcebergStorageHandler' 
LOCATION 'hdfs://linux01:8020/doit/iceberg/warehouse/logging/tb_user2';

select * from tb_user2 ; 可以查询到存储在iceberg中的hadoop类型的数据!

4 直接切换创的类型为hive的catalog数据库 , 直接读取表中的数据  

需要设置如下参数 :

SET iceberg.mr.catalog=hive;  **** 读取生成的iceberg表中的数据