Spark SQL 读取hive分区表出现分区字段为null的情况

今天在使用Spark SQL 读取hive分区表数据的时候，出现了下面的错误：

由于这个表是数仓维护提供给我使用的，我并不是很清楚表中数据的情况，于是我取查了一下这个表，发现分区字段pk_year，pk_month,pk_day这几个字段确实都存在为默认的情况：

在hive里面表可以创建成分区表，但是当分区字段的值是''" 或者 null时 hive会自动将分区命名为默认分区名称。

默认情况下，默认分区的名称为__HIVE_DEFAULT_PARTITION__

当然默认分区名称是可配置的。

配置参数是 hive.exec.default.partition.name 

---

解决方法：

当前我的解决方式是在Spark SQL中将分区字段为空的数据过滤掉，就不会报错了。

另外已经找数仓的同事沟通，让他们在抽取数据的时候，将分区字段为空的数据过滤掉或者补上分区字段的正确值。

---

欢迎关注我的博客：[杨公子的个人博客](http://www.yanggongzi.top)

欢迎关注我的公众号——数据杨公子。本公众号会分享包括但不限于大数据、数据治理、元数据管理、python 等方面的技术文章，主旨是和大家一起共同成长，用技术来认识我们这个数据的时代。