情况一:
当向Hive metastore中读写Parquet表时,Spark SQL将使用Spark SQL自带的Parquet SerDe(SerDe:Serialize/Deserilize的简称,目的是用于序列化和反序列化),而不是用Hive的SerDe,Spark SQL自带的SerDe拥有更好的性能。这个优化的配置参数为spark.sql.hive.convertMetastoreParquet,默认值为开启。
所以有时会发生spark自带的序列化方式无法解析hive中的parquet数据,便读不到数据,此时可以将这个参数设置为false。
SET spark.sql.hive.convertMetastoreParquet = false;
情况二:
当使用spark-shell 或者spark api(e.g. saveAsTable) 创建Hive表时,在修改表结构是,可能会出现spark读取数据字段为null 的情况。
--- 方案一:
1. spark-shell/shive 删除表,再建表
2. 除分区字段外其他表再建表语句中都是大写/小写,根据最初见表决定
3. Map Array filter null
--- 方案二:
1. hive drop 表, 再建表
2. spark-shell/shive 修复分区
3. hive 修复分区