一文讲透Spark中的分区和分桶的不同

一.数据准备

partition.txt:
b,2
c,1
b,1
d,3
a,2
b,1

二.Spark Core中的分区

val rdd = sc.textFile("D:\\study\\workspace\\spark-sql-train\\input\\partition.txt")
  .map(_.split(",")).map(x => (x(0), x(1)))

rdd.saveAsTextFile("output/level")

直接读取后保存，默认水平分区。

part-00000:
(b,2)
(c,1)
(b,1)
part-00001:
(d,3)
(a,2)
(b,1)

rdd.partitionBy(new HashPartitioner(2)).saveAsTextFile("output/hash")

hash分区（partitionBy这种算子只在键值对数据上会出现）：

part-00000:
(b,2)
(b,1)
(d,3)
(b,1)
part-00001:
(c,1)
(a,2)

rdd.partitionBy(new RangePartitioner(2, rdd)).saveAsTextFile("output/range")

range分区（分区内不保证有序）：

part-00000:
(b,2)
(b,1)
(a,2)
(b,1)
part-00001:
(c,1)
(d,3)

三.Spark SQL中的分区和分桶（用HQL）

rdd.toDF("col1", "col2").groupBy("col1").count()
  .write.format("json").mode("overwrite").save("output/sql")

groupBy有4个key，则有5个json文件，一个为空，其他每个文件保存一个key。

rdd.toDF("col1", "col2").orderBy("col1")
  .write.format("json").mode("overwrite").save("output/sql")

orderBy有4个key，则有4个json文件，每个文件保存一个key。

上面这些都是一个key一个文件，key过多可能会有小文件问题，我的理解是都写入到数据库中。

按第一列分区，第二列分桶。

import spark.implicits._
rdd.toDF("col1", "col2").orderBy("col1")
  .write.format("json")
  .partitionBy("col1")
  .bucketBy(2, "col2")
  .saveAsTable("bucket")

除了上面这种情况，其他分桶数都会出错。

数据量大的话，就有4×2=8个文件。只分桶只有两个文件。
如果寻找col1 = d的文件，分区后只需要搜索两个小文件就行，不分区，需要搜索两个大的文件。
只需要把文件夹当作一个索引就行。
最好直接用hive的分区分桶，spark sql的bucket指定数量绝大部分情况没用。生成文件的数量还是按key的种类数量来算的，打开enableHiveSupport()，用hive的语句吧。

参考文章：为什么Spark saveAsTable with bucketBy创建数千个文件？