create tmp.table stored as orc as select * from tmp.tablesx;
insert into tmp.table select * from tmp.tablesy;
会造成 hdfs 文件的后缀名称不一致 ,造成 spark 引擎下部分数据不能读取的错误 ;
解决方法 :
1. 上述的sql 通过 union all 进行合并
2.增加参数强制统一hdfs文件格式 : spark.sql.hive.convertMetastoreOrc","false"