spark2.4.6 版本下创建orc临时表错误

create tmp.table stored as orc as select * from tmp.tablesx;

insert into tmp.table select * from tmp.tablesy;

 

会造成 hdfs 文件的后缀名称不一致 ，造成 spark 引擎下部分数据不能读取的错误  ；

解决方法 ：

 

1. 上述的sql 通过 union all 进行合并  

2.增加参数强制统一hdfs文件格式 ：  spark.sql.hive.convertMetastoreOrc","false"