sparksql减少输出数据中的小文件数量

最新推荐文章于 2023-01-09 20:15:00 发布
最新推荐文章于 2023-01-09 20:15:00 发布
阅读量8.9k 收藏 2
点赞数
分类专栏： spark sparks sql 大数据 hive 文章标签： spark hdfs 函数 数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014236468/article/details/78675596
版权
hive 同时被 3 个专栏收录
15 篇文章 0 订阅
订阅专栏
大数据
13 篇文章 0 订阅
订阅专栏
spark
12 篇文章 0 订阅
订阅专栏

由于项目中开发用到sparksql ，将一个大表的数据查询后插入到另一种表中，此时数据令也不是太大，

但是产生了200多个小文件，占用namenode资源，为了改善该情况使用，

将hive中的表加载为一个df，然后重新分区+缓存+注册为临时表，在进行查询，插入操作，此时文件为20个

关键代码如下：

val aDF =hiveContext.table("info_user").repartition(2).persist()

    aDF.registerTempTable("info_user")
明月不归尘
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark合并输出小文件
01-20
在Spark SQL执行etl时候会有最终结果大小只有几百k，但是小文件一个分区有上千的情况。危害： HDFS有最大文件数限制 浪费磁盘资源（可能存在空文件） Hive中进行统计，计算的时候，会产生很多个map，影响计算的速度 方法一：通过spark的coalesce()方法和repartition()方法 val rdd2 = rdd1.coalesce(8, true) （true表示是否shuffle） val rdd3 = rdd1.repartition(8) 说明：   coalesce：coalesce()方法的作用是返回指定一个新的指定分区的Rdd，如果是生成一个窄依赖的结果
SparkSQL最全面案例数据集
最新发布
03-25
SparkSQL是Apache Spark的一个模块，用于处理结构化数据。它提供了一个DataFrame API来编写SQL查询，这些查询可以处理来自各种数据源的数据，并返回DataFrame作为结果。DataFrame是一个分布式的数据集合，可以包含多种类型的数据，并提供了一种方便的方式来处理和分析这些数据。 然而，关于“SparkSQL最全面案例数据集”的问题，实际上并没有一个官方或广泛认可的“最全面”案例数据集。SparkSQL的应用范围非常广泛，可以应用于各种数据处理和分析的场景，因此案例和数据集也是多种多样的。 不过，我可以为你介绍一些常见的SparkSQL案例和数据集类型，帮助你更好地了解如何在不同场景中使用SparkSQL。 电影评分数据集：这是一个常见的分析案例，用于分析电影的评分、评论和用户行为等。通过SparkSQL，可以对电影评分进行统计分析，找出最受欢迎的电影、评分最高的电影等。 电商交易数据集：电商交易数据通常包含订单信息、用户信息、商品信息等。利用SparkSQL，可以对交易数据进行聚合分析，计算销售额、用户购买行为、商品销量等。 社交网络数据集：社交
SequoiaDB+SparkSQL在数据统计场景的应用
02-24
在当前企业生产数据膨胀的时代，数据即使企业的价值所在，也是一家企业的技术挑战所在。所以在海量数据处理场景上，人们意识到单机计算能力再强也无法满足日益增长的数据处理需求，分布式才是解决该类问题的根本解决方案。而在分布式领域，有两类产品是至关重要的，分别分布式存储和分布式计算，用户只有将两者的特性充分利用，才可以真正发挥分布式架构的存储和计算能力。SequoiaDB是国内为数不多的自主研发的分布式数据库，特点是同时支持文档存储和块存储，支持标准SQL和事务功能，支持复杂索引查询、与Hadoop、Hive、Spark都有较深度的集成。目前SequoiaDB已经在Github开源。SequoiaDB在
sparksql小项目实战测试数据.zip
11-08
sparksql小案例测试数据
集群小文件太多问题（spark-sql优化）
lhxsir的博客
02-22 7115
hive外部分区表，每个分区下有200个小文件 某张表有三个分区字段（partition_brand, partition_date, partition_rssc） 则生成小文件个数：2 * 26 * 8 * 200 = 83,200 这个表还算一般，如果按照年月日进行分区的话，小文件就太多了 先查看集群动态资源配置： 再查看执行spark程序配置资源： --driver-memory 30...
如何避免Spark SQL做数据导入时产生大量小文件
过往记忆大数据
03-09 2131
我们之前的文章《蚂蚁绊倒大象...》介绍过，海量小文件是大数据领域中公认的难题，对时间和性能都可能造成毁灭性打击。本文将继续针对小文件，讲解小文件产生的原因和一些解决办法，希望对大家能有所...
SPARK -SQL 小文件问题
qq_43039301的博客
12-06 1465
SPARK 小文件问题spark -sql 小文件生成原因设置参数减少小文件的生成 spark -sql 小文件生成原因 spark -sql 提交任务默认shuffle 数量是 200 如果数据量过小会造成每一个shuffle 输出的文件数据量过小时间长了就会有大量小文件产生 设置参数减少小文件的生成 spark-sql adaptive框架解决小文件问题 打开自适应框架的开关 set spark.sql.adaptive.enabled=true； 设置partition的上下限 set spar
HIVE-SQL-小文件优化
ruijungao的博客
10-17 468
HIVE-SQL-小文件优化
使用COALESCE和REPARTITION解决SPARK SQL（hadoop） 小文件过多的问题
samur2的博客
01-09 846
最近在做数仓宽表开发时，发现某些表的在hadoop（命令：hdfs dfs -ls）上小文件特别多，整体数据量不大，每个分区却有几百个小文件。一个小文件需要在nameNode中维护一份元数据（目录、大小、权限等信息） ，占用的资源是 150字节（Byte），100个小文件则占用 14.6KB。本文介绍如何使用 COALESCE 和 REPARTITION 来解决这种问题
spark小文件过多
a13705510005的博客
08-13 3587
什么是小文件？ 生产上，我们往往将Spark SQL作为Hive的替代方案，来获得SQL on Hadoop更出色的性能。因此，本文所讲的是指存储于HDFS中小文件，即指文件的大小远小于HDFS上块（dfs.block.size）大小的文件。 小文件问题的影响 一方面，大量的小文件会给Hadoop集群的扩展性和性能带来严重的影响。NameNode在内存中维护整个文件...
spark snappy save text file
04-26
NULL 博文链接：https://fypop.iteye.com/blog/2320597
SparkSQL扩展-数据操作-缺失值处理
01-21
数据操作——缺失值处理数据集
spark 调优：控制输出文件的个数
Chengliangyao的博客
06-08 7813
DataFrame输出结果保存为文件时，尤其是根据某个条件分区时，可以控制输出文件的个数，从而减少小文件的个数DataFrame..coalesce(1).write.format("parquet").mode(SaveMode.Overwrite).partitionBy("分区条件列名").save("路径")这里coalesce指定输出文件个数...
SparkSQL中控制文件输出数量
qq_45124566的博客
12-19 2165
Coalesce and Repartition Hint或者 spark.sql.adaptive.enabled和spark.sql.adaptive.coalescePartitions.enabled为true
Spark 2.4.0如何优雅地解决sparksql小文件过多的问题
LINBE_blazers的博客
09-05 3124
在使用SparkSql进行项目开发的过程，往往会碰到一个比较头疼的问题，由于SparkSql的默认并行度是200，当sql中包含有join、group by相关的shuffle操作时，会产生很多小文件；从集群优化的角度来说，太多的小文件对NameNode的压力比较大，而且太多的小文件对后续使用该表进行计算时会启动很多必要的maptask，任务耗时高。因此，需要对小文件问题进行优化。 在Dataset/Dataframe中有repartition/coalesce算子减少输出文件个数，但用户往不喜欢编写和部
SparkSql 控制输出文件数量且大小均匀(distribute by rand())
热门推荐
@羲凡—只为更好的活着
06-20 2万+
@羲凡——只为了更好的活着 SparkSql 控制输出文件数量且大小均匀(distribute by rand()) Q：Spark如何控制文件你输出数量？ A：这个简单，用 coalesce或者repartition，num=(1.0*(df.count())/7000000).ceil.toInt Q：Spark让输出文件大小均匀？ A：在sparksql的查询最后加上distribute b...
Hive与spark优化之小文件问题及其解决方案
mojolang
02-09 2106
小文件是如何产生的 1.动态分区插入数据，产生大量的小文件，从而导致map数量剧增。 2.reduce数量越多，小文件也越多(reduce的个数和输出文件是对应的)。 3.数据源本身就包含大量的小文件。 小文件问题的影响 1.从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能。 2.在HDFS中，每个小文件对象约占150byte，如果小文件过多会占用大量内存。这样NameNode内存容量严重制约了集群的扩展。
sparksql读取mysql数据生成csv文件
03-16
可以使用SparkSQL连接MySQL数据库，读取数据，并将数据保存为CSV文件。 具体步骤如下： 1. 首先需要在Spark中添加MySQL的JDBC驱动，可以通过以下命令进行添加： ``` $SPARK_HOME/bin/spark-shell --packages mysql:mysql-connector-java:5.1.39 ``` 2. 在Spark中创建一个SparkSession对象，连接MySQL数据库，读取数据： ``` val spark = SparkSession.builder() .appName("SparkSQLReadMySQL") .master("local[*]") .getOrCreate() val jdbcDF = spark.read .format("jdbc") .option("url", "jdbc:mysql://localhost:3306/test") .option("dbtable", "table_name") .option("user", "username") .option("password", "password") .load() ``` 其中，url、dbtable、user、password需要根据实际情况进行修改。 3. 将读取的数据保存为CSV文件： ``` jdbcDF.write .format("csv") .option("header", "true") .option("delimiter", ",") .save("path/to/csv/file") ``` 其中，header表示是否将列名写入CSV文件的第一行，delimiter表示CSV文件的分隔符，save中的路径需要根据实际情况进行修改。 以上就是使用SparkSQL读取MySQL数据并生成CSV文件的步骤。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值