参数个数无效_玩转Spark Sql优化之提交参数控制(三)

01

PART

前言

承接上文,本文演示如何控制Spark Sql任务参数。

仍然是第一篇所提的三张表分表对应课程表、购物车表、支付表,三张表测试数据量分别为课程表3MB,购物车表4.3G,支付表2.3G。

2e48ff339d651af505f399e218ce12d2.png

02

PART

小文件过多场景

Spark sql默认shuffle分区个数为200,参数由spark.sql.shuffle.partitions控制,此参数只能控制Spark sql、DataFrame、DataSet分区个数。不能控制RDD分区个数

1b772d73ae660ec87113d5b082b9880d.png

所以如果两表进行join产生shuffle形成一张新表,如果新表的分区不进行缩小分区操作,那么就会有200份文件插入到hdfs上,这样就有可能导致小文件过多的问题。

还是由上面视图三张表为例,进行join,先不进行缩小分区操作。查看效果。为了演示效果,先禁用了广播join。广播join后面会进行说明。

import org.apache.spark.SparkConfimport org.apache.spark.sql.{SaveMode, SparkSessionobject PartitionTuning {      def main(args: Array[String]): Unit = {           val sparkConf = new SparkConf().setAppName("test").set("spark.sql.autoBroadcastJoinThreshold","-1")           val sparkSession = SparkSession.builder().config(sparkConf).enableHiveSupport().getOrCreate()           val ssc = sparkSession.sparkContext           testJoin(sparkSession)      }                      def testJoin(sparkSession: SparkSession) = {         //查询出三张表 并进行join 插入到最终表中           val saleCourse = sparkSession.sql("select *from dwd.dwd_sale_course")                     val coursePay = sparkSession.sql("select * from dwd.dwd_course_pay")                          .withColumnRenamed("discount", "pay_discount")                             .withColumnRenamed("createtime", "pay_createtime")                                         val courseShoppingCart = sparkSession.sql("select *from dwd.dwd_course_shopping_cart")                           .drop("coursename")                 .withColumnRenamed("discount", "cart_discount")                                  .withColumnRenamed("createtime", "cart_createtime")                                          saleCourse.join(courseShoppingCart, Seq("courseid", "dt", "dn"), "right")                          .join(coursePay, Seq("orderid", "dt", "dn"), "left")                                    .select("courseid", "coursename", "status", "pointlistid", "majorid", "chapterid",                              "chaptername", "edusubjectid", "edusubjectname", "teacherid", "teachername", "coursemanager", "money", "orderid",                              "cart_discount", "sellmoney","cart_createtime", "pay_discount", "paymoney", "pay_createtime", "dt", "dn")                              .write.mode(SaveMode.Overwrite).insertInto("dws.dws_salecourse_detail")                         } }            

提交yarn任务查看Spark Ui界面,对应200个分区(task)

3c739cc00eb358c60ed5cbb0b43e868e.png

查看HDFS上落盘的数据块,产生了200个文件

f866d9f8d6271bc755cad8a0342b4d17.png

509e7590b9cf48c4a5d0486d53693f58.png

解决小文件过多问题也非常简单,在spark当中一个分区最终落盘形成一个文件,那么解决小文件过多问题只需将分区缩小即可。在插入表前,添加coalesce算子指定缩小后的分区个数。那么使用此算子需要注意,coalesce算子缩小分区后那么实际处理插入数据的任务只有一个,可能会导致oom,所以需要适当控制,并且coalesce算子里的参数只能填写比原有数据分区小的值,比如当前表的分区是200,那么填写参数必须小于200,否则无效。当然缩小分区后任务的耗时肯定会变久。

b27ae9ae870533f63f3914ebf6490cd3.png

添加完coalesce算子后再次运行yarn任务,查看效果

78eb095f49731cc264a12545c81bb0ae.png

1260a9c0758f31c96b9eb73651ab7092.png

fc5b051a264da5cbb11e5c736fd5243a.png

最终产生的文件个数为20个,那么在Spark任务当中解决小文件过多的方案就是缩小分区个数。

03

PART

提交参数控制

再次回到没有缩小分区之前的Stage当中

3c739cc00eb358c60ed5cbb0b43e868e.png

点击Stage查看task运行详情

033c6df6abc1654c1cc545c9c3246720.png

可以看到task的分布并不均匀,vcore没有充分利用起来

根据当前任务的提交命令

spark-submit --master yarn --deploy-mode client --driver-memory 1g --num-executors 3 --executor-cores 4 --executor-memory 2g --queue spark --class com.atguigu.sparksqltuning.PartitionTuning spark-sql-tuning-1.0-SNAPSHOT-jar-with-dependencies.jar 

去向yarn申请的executor vcore资源个数为12个(num-executors*executor-cores),如果不修改spark sql分区个数,那么就会像上图所展示存在cpu空转的情况。这个时候需要合理控制shuffle分区个数。如果想要让任务运行的最快当然是一个task对应一个vcore,但是离线任务一般不会这样设置,为了合理利用资源,一般会将分区(也就是task)设置成vcore的2倍到3倍。

修改参数spark.sql.shuffle.partitions,此参数默认值为200。

那么根据我们当前任务的提交参数,将此参数设置为24或36为最优效果。

b4845d978b00ca4be8ead909ff3c8935.png

设置完参数,yarn上提交任务,再次运行

查看spark ui,点击相应stage,查看task详情

722cf83445bec94baa37d53dddd11317.png

这张图就很明显了,分别hadoop101,hadop102,hadoop103各自申请到4个vcore,然后每个vcore都分配到了3个任务,也都是差不多时间点结束。充分利用了cpu的资源。

那么spark sql当中修改分区的方式就有3种了,分别是算子coalesce、repartition和参数spark.sql.shuffle.partitions

96e376be335d316bfe82267e2ddd2ded.png

最终Stage id为4的join阶段,耗时也从3.3分钟降到了1.6分钟,优化效果非常明显。另一个join阶段也优化了一半(当时没截图)

04

结论

跑离线任务时我们可以合理控制分区数来提高效率,可以将分区数设置为executor一共申请vcore数的2倍或3倍。Spak Sql当中改变分区的方式有repartition、coalesce算子和spark.sql.shuffle.partitions参数,并且分区和task是同一个东西,一个分区对应一个文件。

扫码入群和大佬们一起讨论技术

6251f3e9d45351a34c8ec25d6d5e26dd.png

该公众号开源为大家解决大数据企业级遇到的各种问题,也欢迎各位大佬积极加入开源共享(共同面对大数据领域各种老大难问题)

表情包
插入表情
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
相关推荐
©️2020 CSDN 皮肤主题: 1024 设计师:白松林 返回首页