spark sql 查看分区_Spark-sql读取hive分区表限制分区过滤条件及限制分区数量

问题描述

在开发过程中使用spark去读取hive分区表的过程中(或者使用hive on spark、nodepad开发工具)，部分开发人员未注意添加分区属性过滤导致在执行过程中加载了全量数据，引起任务执行效率低、磁盘IO大量损耗等问题

解决办法

1、自定义规则CheckPartitionTable类，实现Rule

type ExtensionsBuilder = SparkSessionExtensions => Unit

//在Optimizer中追加CheckPartitionTable规则执行器

val extBuilder: ExtensionsBuilder = { e => e.injectOptimizerRule(CheckPartitionTable) }

val conf = new SparkConf()

.setMaster("local[*]")

.set("spark.table.check.partition", "true")

.set("spark.table.check.partition.num","30")

.setAppName("SQL")

val spark = SparkSession.builder().config(conf).withExtensions(extBuilder).enableHiveSupport().getOrCreate()

然后通过此种方法创建SparkSession

2、自定义规则CheckPartitionTable类，实现Rule，将规则类追加致Optimizer.batches: Seq[Batch]中