Kylin构建Cube,突然一直构建失败(return code 2；state=08S01,code=2)

问题描述

build日志的第一步就失败了或没有错误日志

报错信息:

java.io.IOException: OS command error exit with return code: 2, error message: ls: cannot access /opt/odeon/hive/client/apache-hive-2.0.1-bin/lib/hive-jdbc-*-standalone.jar: No such file or directory

Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)

问题原因

1. 集群服务器异构,有x64和arm架构，一旦采用了hive数据采用了parquet，默认是开启了snappy压缩，导致失败了。
2. 或者是字段变更,检查model和cube中字段是否和hive中相同，检查model中选择的hive表的schema数据，hive sql语句insert overwrite正常，使用spark.write.save写入kylin报错。

解决办法

1. 关闭snappy压缩

   sparksession添加配置.config("spark.sql.parquet.compression.codec", "uncompressed")

   如果使用oozie调度可以在Options list加上

   --conf spark.sql.parquet.compressed.codec=uncompressed

   清空数据重新执行

2. 修改model和cube字段或使用insert overwrite写入代替spark的save