spark 调优：控制输出文件的个数

最新推荐文章于 2024-07-01 16:23:05 发布
最新推荐文章于 2024-07-01 16:23:05 发布
阅读量7.9k 收藏 3
点赞数 3
分类专栏： 开发总结 spark 文章标签： spark 调优 输出
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengliangyao/article/details/80618955
版权

DataFrame输出结果保存为文件时，尤其是根据某个条件分区时，可以控制输出文件的个数，从而减少小文件的个数

DataFrame..coalesce(1).write.format("parquet").mode(SaveMode.Overwrite).partitionBy("分区条件列名").save("路径")

这里coalesce指定输出文件个数

Chengliangyao
关注
专栏目录
Spark官方调优三部曲之三：其它优化思路
SunnyRivers
08-07 327
数据序列化内存调优这两个方向都进行调优后，如果想进一步继续优化你的程序，可以参考下面的思路。
Spark合并输出小文件
01-20
在Spark SQL执行etl时候会有最终结果大小只有几百k，但是小文件一个分区有上千的情况。危害： HDFS有最大文件数限制 浪费磁盘资源（可能存在空文件） Hive中进行统计，计算的时候，会产生很多个map，影响计算的速度 方法一：通过spark的coalesce()方法和repartition()方法 val rdd2 = rdd1.coalesce(8, true) （true表示是否shuffle） val rdd3 = rdd1.repartition(8) 说明：   coalesce：coalesce()方法的作用是返回指定一个新的指定分区的Rdd，如果是生成一个窄依赖的结果
SparkSQL中控制文件输出数量
qq_45124566的博客
12-19 2793
Coalesce and Repartition Hint或者 spark.sql.adaptive.enabled和spark.sql.adaptive.coalescePartitions.enabled为true
大数据面试题之Spark(6)
最新发布
自律给我自由
07-01 1217
大数据面试题之Spark(6)
spark AE功能控制小文件的输出数量
北方的大数据之路
10-28 1481
场景： 一般我们配置spark.sql.shuffle.partition来控制reduce的个数，但是对于不同的作业，reduce个数是不同的，对于小任务，一方面是影响运行效率，另一方面对于产生的文件数有很大的影响。 描述： spark自适应执行，可以动态控制shuffle read的分区数，对reduce个数进行动态调整。 命令： spark.sql.adaptive.enabled 设置自适应执行 spark.sql.adaptive.minNumPostShuffle..
SparkSQL 控制文件输出的大小
vincent_duan的专栏
04-01 3177
package cn.ac.iie.log import org.apache.spark.sql.{SaveMode, SparkSession} /** * 使用Spark完成我们的数据清洗操作 */ object SparkStatCleanJob { def main(args: Array[String]): Unit = { val spark = SparkSe...
Spark Job写文件个数的控制以及小文件合并的一个优化
半日闲的博客
04-12 2799
在大数据领域，平台小文件治理一直是一个非常重要的问题。我司大佬在Spark平台里，在向目标表中增加一个Shuffle，然后在Reduce端合并数据，以实现将小文件合并成大文件，来减少平台中的小文件。 我司还对单个任务写HDFS文件个数做了限制，同时限制了单个Task 和 单次Job 可写的HDFS个数限制。 通过引入额外Shuffle对写入数据进行合并 最终实现效果如下 == Optimized Logical Plan == CreateDataSourceTableAsSelectComman
Spark 优化之：资源参数调优
AriesLY0411的博客
04-27 606
资源参数调优 了解完了Spark作业运行的基本原理之后，对资源相关的参数就容易理解了。所谓的Spark资源参数调优，其实主要就是对Spark运行过程中各个使用资源的地方，通过调节各种参数，来优化资源使用的效率，从而提升Spark作业的执行性能。以下参数就是Spark中主要的资源参数，每个参数都对应着作业运行原理中的某个部分，我们同时也给出了一个调优的参考值。 num-executors 参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申
Hive的优化与性能调优：让查询更高效
# 1. Hive优化的重要性 ## 1.1 为什么需要对Hive进行优化？ 在大数据领域，Hive作为一种数据仓库工具被广泛使用，但是随着数据量的增加，查询性能可能会变得缓慢，因此需要对Hive进行优化以提高查询效率。...
Spark性能调优
weixin_41367158的博客
03-08 86
1、前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快、性能更高。 然而，通过Spark开发出高性能的大数据计算作业，并不是那么简单的。如果没有对Spark作业进
Spark 多文件输出
@羲凡—只为更好的活着
02-26 851
@羲凡——只为了更好的活着 Spark多文件输出 Q：业务中有要求输出的每个文件数量的条数不超过n条 A： 第一步：写一个MultipleTextOutputFormat类 import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat class RDDMultipleTextOutputFormat extends MultipleTe...
sparksql减少输出数据中的小文件数量
需求是无耻的
11-30 8986
由于项目中开发用到sparksql ，将一个大表的数据查询后插入到另一种表中，此时数据令也不是太大， 但是产生了200多个小文件，占用namenode资源，为了改善该情况使用， 将hive中的表加载为一个df，然后重新分区+缓存+注册为临时表，在进行查询，插入操作，此时文件为20个 关键代码如下： ........... val aDF = hiveContext.
Spark 源码解读03---（文件生成的）rdd的分区个数
qq_34446614的博客
09-01 231
2.3、从外部存储（文件）创建rdd的个数 代码案例 val conf = new SparkConf().setAppName("Simple Application").setMaster("local[*]") val sc = new SparkContext(conf) // 读取本地文件 val readline = sc.textFile("input/1.txt") readline.collect.foreach(println) val par = readline.getNumPa
Spark RDD分区数与分区器源码解析
datacreating的博客
09-24 1168
现如今Spark已经得到了几乎所有大数据企业的认可，而这些企业也迅速将自己的产品与Spark进行了紧密地集成。所以，作为现在最热门的几大分布式大数据计算引擎之一，Spark几乎是大数据工程师的必修课，而RDD作为Spark框架的灵魂所在，也是我们所必须熟悉并掌握的。
Spark 大/小文件读取优化
hellojoy的博客
02-04 3995
https://blog.csdn.net/allwefantasy/article/details/106010295 问题描述 使用Spark写复杂SQL时，我们经常会遇到两个尴尬的情况： 表里的单个文件都很大，而且因为record比较小，所以单个文件的record数量巨大。 表里每个分区都有成百上千个小文件，单个文件可能只有几条记录 对于第一种情况，会导致我们没办法充分利用我们已有的核，所以速度很慢。 对于第二种情况，则会大量浪费调度时间。比如你有100万个文件，假设只有10
Spark：读取文件分区数目的一些思考
ihooger的博客
08-01 702
最近在项目中遇到一个问题：在阿里云 oss 上有一些 parquet 文件，这些文件是按照 accountId 进行 partitionBy 写入的，有多个 accountId 对应的目录，总共有 4927 个 parquet 文件，总大小约为 7.3GB。但是使用 Spark 读取然后按 accountId partitionBy 写出去的文件结构跟原来的不一致，而预期是原样读取然后原样写出去。 查阅了相关资料，发现 Spark 有内存分区和磁盘分区的概念，其中 coalesce() 和 repartit
Spark数据分区（partitionBy分区、partitioner获取分区方式、自定义分区）
热门推荐
Yage的博客
05-13 1万+
在分布式程序中，通信的代价是很大的，因此控制数据分布以获得最少的网络传输可以极大地提升整体性能。和单节点的程序需要为记录集合选择合适的数据结构一样，Spark 程序可以通过控制RDD 分区方式来减少通信开销。分区并不是对所有应用都有好处的——比如，如果给定RDD 只需要被扫描一次，我们完全没有必要对其预先进行分区处理。只有当数据集多次在诸如连接这种基于键的操作中使用时，分区才会有帮助。 Spark...
spark BatchWriter 控制生成的文件数量
06-06
在Spark中，BatchWriter可以通过设置输出文件的大小来控制生成的文件数量。具体来说，可以设置输出文件的最大大小，当输出文件的大小达到指定的最大值时，BatchWriter会自动关闭当前文件并创建一个新文件来继续写入数据。可以使用以下代码来设置输出文件的大小： ```scala import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat import org.apache.spark.sql.{DataFrame, SaveMode} def writeToHdfs(dataFrame: DataFrame, path: String, batchSize: Int, partitions: Int): Unit = { dataFrame .repartition(partitions) .write .option("maxRecordsPerFile", batchSize.toString) .mode(SaveMode.Append) .format("parquet") .save(path) } ``` 在上面的代码中，我们使用了`maxRecordsPerFile`选项来设置输出文件的最大大小，该选项的值为`batchSize`。这里我们使用了Parquet格式作为输出格式，但是其他格式也支持类似的选项。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值