spark sql hive小文件优化

最新推荐文章于 2024-09-04 09:32:12 发布
最新推荐文章于 2024-09-04 09:32:12 发布
阅读量5.6k 收藏 6
点赞数 3
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/genghaihua/article/details/79652643
版权 
 

sparksession.sqlContext.setConf("hive.merge.mapfiles","true")
sparksession.sqlContext.setConf("mapred.max.split.size","256000000")
sparksession.sqlContext.setConf("mapred.min.split.size.per.node","192000000")
sparksession.sqlContext.setConf("mapred.min.split.size.per.rack","192000000")
sparksession.sqlContext.setConf("hive.input.format","org.apache.hadoop.hive.ql.io.CombineHiveInputFormat")
 

 


                

        

        

    

  


    

      

        

            

              
                
                  genghaihua
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL

				
			

			

				

					欢迎来到我的博客，一起探索代码里的世界！
				

				

					03-13
					
					3051
					
				

			

		

		

			
				
Hive由Facebook开发，用于解决海量结构化日志的数据统计，于2008年贡献给 Apache 基金会。Hive是基于Hadoop的数据仓库工具，可以将结构化数据映射为一张表，提供类似SQL语句查询功能本质：将Hive SQL转化成MapReduce程序。Spark SQL主要用于结构型数据处理，它的前身为Shark，在Spark 1.3.0版本后才成长为正式版，可以彻底摆脱之前Shark必须依赖HIVE的局面。

			
		

	



                

            
              



	

		

			

				
					
SparkSQL将小文件合并

				
			

			

				

					dengwei_dw的专栏
				

				

					04-27
					
					2522
					
				

			

		

		

			
				
1、设置配置
	spark.sql("set hive.exec.dynamic.partition=true")
    spark.sql("set hive.exec.dynamic.partition.mode=nonstrict")
    spark.sql("SET spark.sql.shuffle.partitions=1") //优化，防止生成很多的小文件

2、进行inser...

			
		

	



              


  
              

                


	

		

			

				
					
Hive参数配置调优

				
			

			

				

					binguo的博客
				

				

					09-07
					
					1435
					
				

			

		

		

			
				
hive通过将查询划分成一个或多个MapReduce任务达到并行处理的目的。每个任务都可能具有多个mapper和reducer任务，其中至少有一些是可以并行执行的。
确定最佳的mapper个数和reducer个数取决于多个变量，例如输入的数据量大小以及对这些数据执行的操作类型等。
保持平衡性是很有必要的，对于Spark/Hadoop这样的大数据系统来讲，数据量大并不可怕,可怕的是数据倾斜，每个

			
		

	





	

		

			

				
					
hive on spark 合并小文件

					
最新发布

				
			

			

				

					xingyuelhb的博客
				

				

					09-04
					
					712
					
				

			

		

		

			
				
最近在做用户画像相关的数据开发，在hive中做行转列的过程中，每个标签即tag在写入hive表时，有大量的小文件生成，通过增加参数解决了小文件过多的问题，但是在完成特殊要求--（因后续需要同步ck，ck也有个为解决的问题，超过200M可能会丢失数据，故需要将hive在行转列的时候，合并的小文件在200M一下，方便后续ck数据同步）时，又产生了新的问题，通过hive合并小文件的参数，总是有些tag的数据生成的文件在200M以上；增加此参数，才会在hive on spark模式中进行小文件合并。

			
		

	



		

			
		



	

		

			

				
					
Spark Sql 小文件问题

				
			

			

				

					RunTravis
				

				

					04-14
					
					909
					
				

			

		

		

			
				
使用Spark Sql APIs 处理数据容易产生生成大量小文件，小文件问题也是在分布式计算中常见的问题。一般有三种方法来处理这类问题：

设置spark.sql.shuffle.partitions
采用coalesce(num)对数据集repartition
使用Spark Sql Adaptive Execution


spark.sql.shuffle.partitions 参数通过在处...

			
		

	





	

		

			

				
					
SparkSQL小文件合并

				
			

			

				

					weixin_42466752的博客
				

				

					10-20
					
					1062
					
				

			

		

		

			
				
sparksql处理flink小文件

			
		

	





	

		

			

				
					
Spark SQL合并小文件

				
			

			

				

					qq_40822132的博客
				

				

					03-04
					
					3160
					
				

			

		

		

			
				
Spark SQL合并小文件

			
		

	





	

		

			

				
					
spark sql合并小文件_sparksql合并小文件

				
			

			

				

					weixin_39846612的博客
				

				

					12-18
					
					4238
					
				

			

		

		

			
				
查看sparksql支持的参数：spark-sql set -v需要注意这种方式对Spark的版本有要求，建议在Spark2.4.X及以上版本使用，示例： INSERT ... SELECT /*+ COALESCE(numPartitions) */ ... INSERT ... SELECT /*+ REPARTITION(numPartitions) */spark3.0支持自适应合并小文件...

			
		

	





	

		

			

				
					
Spark SQL 小文件问题处理

				
			

			

				

					chbxw
				

				

					04-02
					
					1212
					
				

			

		

		

			
				
此外，Spark在处理任务时，一个分区分配一个task进行处理，多个分区并行处理，虽然并行处理能够提高处理效率，但不是意味着task数越多越好。如果数据量不大，过多的task运行反而会影响效率。上述只是给出3种常见的解决办法，并且要结合实际用到的技术和场景去具体处理，比如对于HDFS小文件过多，也可以通过生成HAR 文件或者Sequence File来解决。2.容易导致task数过多，如果超过参数spark.driver.maxResultSize的配置（默认1g），会抛出类似如下的异常，影响任务的处理。

			
		

	





	

		

			

				
					
Atlas Spark SQL血缘分析，Hive Hook

				
			

			

				

					05-25
				

			

		

		

			
				
4. **执行Spark SQL操作**：当Spark SQL通过Hive接口执行DML（Data Manipulation Language）或DDL（Data Definition Language）操作时，Hive Hook会捕获这些操作的元数据变更。  5. **血缘信息收集和存储**：捕获的...

			
		

	





	

		

			

				
					
spark sql读取hive底层_原创-spark sql 写入hive较慢优化思路

				
			

			

				

					weixin_34954140的博客
				

				

					12-29
					
					1636
					
				

			

		

		

			
				
在《spark sql 写入hive较慢原因分析》中已经分析了spark sql 写入hive分区文件慢的原因，笔者提供几种优化思路供参考：(1)spark 直接生成hive库表底层分区文件，然后再使用add partion语句添加分区信息spark.sql(s"alter table legend.test_log_hive_text add partition (name_par='${dir...

			
		

	





	

		

			

				
					
Spark合并输出小文件

				
			

			

				

					01-20
				

			

		

		

			
				
在Spark SQL执行etl时候会有最终结果大小只有几百k，但是小文件一个分区有上千的情况。危害：
HDFS有最大文件数限制
浪费磁盘资源（可能存在空文件）
Hive中进行统计，计算的时候，会产生很多个map，影响计算的速度
方法一：通过spark的coalesce()方法和repartition()方法
val rdd2 = rdd1.coalesce(8, true) （true表示是否shuffle）
val rdd3 = rdd1.repartition(8)

说明：
  coalesce：coalesce()方法的作用是返回指定一个新的指定分区的Rdd，如果是生成一个窄依赖的结果

			
		

	





	

		

			

				
					
Spark小文件异步合并工具

				
			

			

				

					09-25
				

			

		

		

			
				
java写的一个spark小文件合并工具，支持text、parquet、orc等格式，分享给有需要的人

			
		

	





	

		

			

				
					
spark-hive-2.11和spark-sql-以及spark-hadoop包另付下载地址

				
			

			

				

					05-22
				

			

		

		

			
				
2.11.x-y.z-bin-hadoop2.x.y.tgz`这样的Spark发行版，`hive-2.3.x.y-z-bin.tar.gz`的Hive发行版，以及可能的`spark-hive_2.11-2.4.x.y.jar`和`spark-sql_2.11-2.4.x.y.jar`等连接Hive的Spark模块的jar文件。...

			
		

	





	

		

			

				
					
Spark Hive 小文件合并

				
			

			

				

					longlovefilm的博客
				

				

					09-18
					
					3053
					
				

			

		

		

			
				
背景

小文件带来的问题

对于HDFS

从 NN RPC请求角度，文件数越多，读写文件时，对于NN的RPC请求就越多，增大NN压力。

从 NN 元数据存储角度，文件数越多，NN存储的元数据就越大。

对于下游流程

下游流程，不论是MR、Hive还是Spark，在划分分片（getSplits）的时候，都要从NN获取文件信息。这个过程的耗时与文件数成正比，同时受NN压力的影响。在NN压力大，上游小文件多的情况下，下游的getSplits操作就会比较慢。

作业生成的文件数

为了简化问题，假设：


	

			
		

	





	

		

			

				
					
合并Spark SQL产生的小文件

				
			

			

				

					Jerry的博客
				

				

					07-27
					
					3676
					
				

			

		

		

			
				
问题

使用spark sql执行etl时候出现了，最终结果大小只有几百K或几M，但是小文件一个分区有上千的情况。运行spark sql 效率比较低

危害：

hdfs有最大文件数限制
	浪费磁盘资源（可能存在空文件）；
	hive中进行统计,计算的时候,会产生很多个map,影响计算的速度。
解决方法

方法一：通过spark的coalesce()方法和repartition()方法


val...

			
		

	





	

		

			

				
					
Spark SQL 与 Hive 的小文件调优

				
			

			

				

					JIE的博客 --- moon_coder
				

				

					12-02
					
					2227
					
				

			

		

		

			
				
小文件会造成 nn 处理压力变大，大大降低了读取性能，整个 HDFS 文件系统访问缓慢，大量的小文件还会导致 nn 内存溢出，无法正常使用。以上参数调优都是临时调优，仅限于本次会话，如果想要永久设置的话只需要将参数配置到。可以先查看我们操作的数据量大小，然后用它去除以我们的集群块。一般情况数据量小的话，只需要设置前面两个参数就可以了。我的建议是，不如直接调用方法。新建了一个和其结构一样。新建了一个和其结构一样。

			
		

	





	

		

			

				
					
spark 导入文件到hive出现多小文件的问题

				
			

			

				

					大数据学习笔记
				

				

					09-04
					
					2911
					
				

			

		

		

			
				
环境：

ambari:2.6.1

spark 2.1

python 3.6

oracle 11.2

sqoop 1.4

将sqoop采集到HDFS中的文件导入到HIVE数据库，导入成功后，发现hive数据库中出现多个小文件的问题，严重影响后期数据分析的加载速度。



解决方法：



SJTable = spark.sql("select  *          from " + t...

			
		

	





	

		

			

				
					
Spark SQL小文件问题解决方案

				
			

			

				

					雾岛与鲸的博客
				

				

					12-10
					
					5030
					
				

			

		

		

			
				
Spark SQL小文件
小文件是指文件大小显著小于hdfs block块大小的的文件。过于繁多的小文件会给HDFS带来很严重的性能瓶颈，对任务的稳定和集群的维护会带来极大的挑战。
由于Spark本身并不支持小文件合并功能，小文件问题日益突出。
Spark为什么会产生小文件
Spark生成的文件数量直接取决于RDD里partition的数量和表分区数量。注意这里的两个分区概念并不相同，RDD的分区与任务并行度相关，而表分区则是Hive的分区数目。生成的文件数目一般是RDD分区数和表分区的乘积。因此，当任务并

			
		

	





	

		

			

				
					
Spark取代Hive：ETL优化实战与性能提升

				
			

			

				

					
				

			

		

		

			
				
1. 配置Spark以连接Hive数据源，只需将Hive的配置文件（如hive-site.xml）放置在Spark的conf目录下，并确保Hive元数据的版本匹配。 2. 使用Hive作业脚本为基础，创建Spark作业，替换适用的参数以适应Spark环境。 3. ...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值