Spark 提交任务参数设置关于（线程，shuffle，序列化）

–driver-java-options ‘-Xss6m’`

是在使用 Apache Spark 时，为了设置 Java 虚拟机（JVM）的堆栈大小而使用命令行选项。
-Xss 是 Java 虚拟机的一个选项，用于设置线程的堆栈大小。在这个命令行选项中，-Xss6m 表示将线程的堆栈大小设为 6MB。这个选项的作用是为了避免在运行 Spark 任务时出现堆栈溢出的错误。

–spark.default.parallelism=200

设置 Spark 默认的并行度为 200。并行度是指在 Spark中并行执行任务的线程数或分区数。通过设置并行度，可以提高 Spark 任务的执行效率。

–conf spark.shuffle.io.maxRetries=200

设置 Spark Shuffle 操作的最大重试次数为 200。Shuffle 是 Spark 中的一个重要操作，用于将数据从一个节点传输到另一个节点。通过设置大重试次数，可以提高 Shuffle 操作的可靠性。

–conf spark.shuffle.io.retryWait=500s

设置 Spark Shuffle 操作的重试等待时间为 500 秒。当 Shuffle 操作失败时，会进行重试，通过设置重试等待时间，可以控制重试的时间。

–conf spark.kryoserializer.buffer.max=512m

设置 Kryo 序列化器的最大缓冲区大小为 512MB。Kryo 是 Spark 中的一种高效的序列化器，通过设置缓冲区大小，可以提高序列化和反序列化的效率。

–conf spark.kryoserializer.buffer=512m

设置 Kryo 序列化器的缓冲区大小为 512MB。通过设置缓冲区大小，可以提高序列化和反序列化的效率。

–conf spark.sql.shuffle.partitions=200

设置 Spark SQL Shuffle 操作的分区数为 200。Shuffle 是 Spark SQL 中的一个重要操作，用于将数据从一个节点传输到另一个节点通过设置分区数，可以提高 Shuffle 操作的并行度，从而提高 Spark SQL 任务的执行效率。