环境:
hadoop 2.7.6
hive 2.3.7
iceberg 0.13.1
1、在 Hive 中启用 Iceberg 支持
在 https://iceberg.apache.org/releases/ 下载iceberg-hive-runtime-0.13.1.jar
将 iceberg-hive-runtime-0.13.1.jar
和libfb303-0.9.3.jar
移到hive lib目录下,配置hive-site.xml, 添加如下配置:
<!-- iceberg配置 -->
<property>
<name>iceberg.engine.hive.enabled</name>
<value>true</value>
</property>
说明 如果写数据时,遇到异常提示
return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
,应该找不到fb303相关类路径,可以在Hive命令行中手动执行命令add jar /Users/XXX/cloudera/cdh5.7/hive/lib/libfb303-0.9.3.jar
。
2、基本功能测试
创建表并插入数据:
查询结果:
执行mapreduce查询:
查看hdfs目录