hive on spark小文件问题【hive.merge.sparkfiles参数不生效】

最新推荐文章于 2023-09-21 09:50:05 发布
最新推荐文章于 2023-09-21 09:50:05 发布
阅读量934 收藏
点赞数
文章标签： hive spark hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43688472/article/details/131638749
版权

hive on spark小文件问题【hive.merge.sparkfiles参数不生效】

在这里插入图片描述
在这里插入图片描述
我也是查看了我们目前集群的版本是spark是3.2.3版本
hive是3.1.3版本，都是比较新的版本，正常是支持这个参数的

在测试环境中，如果在sql中不使用group by函数其实可以可以生效的

找原因，找问题

最后定位到生产上缺少这个包 ：hive-exec-3.1.3.jar

hadoop fs -put /usr/lib/hive/lib/hive-exec-3.1.3.jar /生产路径/spark-jars/

好了这个问题就算解决了

墨卿风竹
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark SQL 与 Hive 的小文件调优
JIE的博客 --- moon_coder
12-02 2046
小文件会造成 nn 处理压力变大，大大降低了读取性能，整个 HDFS 文件系统访问缓慢，大量的小文件还会导致 nn 内存溢出，无法正常使用。以上参数调优都是临时调优，仅限于本次会话，如果想要永久设置的话只需要将参数配置到。可以先查看我们操作的数据量大小，然后用它去除以我们的集群块。一般情况数据量小的话，只需要设置前面两个参数就可以了。我的建议是，不如直接调用方法。新建了一个和其结构一样。新建了一个和其结构一样。
hive常用参数、数据倾斜处理办法总结
槑の少年的博客
09-28 1180
小文件合并 --set hive.merge.sparkfiles = true;--spark引擎，结束后，新启动一个任务进行合并文件 set hive.merge.tezfiles = true;--tez引擎，结束后，新启动一个任务进行合并文件 --set hive.merge.mapredfiles = true;--在Map-Reduce的任务结束时合并小文件，mr引擎，结束后合并文件，新启动一个任务 set hive.merge.mapfiles = true;--在Map-only的任务结束时
Hive on Spark 小文件问题
weixin_42496757的博客
12-30 2984
总所周知，hadoop namenode会对hdfs上的每个文件在内存中都会维护一份元数据信息。如果集群产生大量小文件而不处理，长期下去，必将给namenode造成巨大压力。同时，对于hive，spark计算时，小文件意味着需要更多的task和资源，影响计算速度，同样也可能将节点弄挂掉。 因此，小文件问题，需要引起重视，在日常开发和日常监控中需要额外注意。 Hive on Spark 关闭hive.merge.sparkfiles，shuffle会产生大量小文件，因此写入hdfs存在小文件问..
Hive on spark FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark
qq_45808446的博客
09-21 1489
最近跟着尚硅谷在做项目，做到Hive on spark时卡住了，在执行count(*)和插入语句时出现如上错误。这里我的hive是可以用的，spark也是可以用的，但将Hive的引擎改为spark 就不可以用了。所以在这里记录一下怎么解决以及思路。
Hive3.1.2 on Spark 3.0.0报错
qq_53663722的博客
09-13 270
解决：在/opt/software/hadoop/hadoop-3.1.3/etc/hadoop目录下创建resource-types.xml文件。1、到spark的/opt/software/spark/spark-3.0.0/conf目录下修改配置文件。在/opt/software/spark/spark-3.0.0/sbin路径下启动spark。hive on spark环境下在hive中创建表成功，但是执行插入数据语句报错。3、在hive/conf/hive-site.xml中增加。
Hive与spark优化之小文件问题及其解决方案
mojolang
02-09 2260
小文件是如何产生的 1.动态分区插入数据，产生大量的小文件，从而导致map数量剧增。 2.reduce数量越多，小文件也越多(reduce的个数和输出文件是对应的)。 3.数据源本身就包含大量的小文件。 小文件问题的影响 1.从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能。 2.在HDFS中，每个小文件对象约占150byte，如果小文件过多会占用大量内存。这样NameNode内存容量严重制约了集群的扩展。
hive3.x编译spark3.x包
06-07
6. **编译Spark**：在Spark的源代码目录下，同样使用Maven编译，但可能需要设置一些额外的参数来指定Hive的版本和位置。例如，`mvn clean package -Phadoop-3.2 -Pyarn -Pspark-3.0 -Phive -Phive-thriftserver -...
hive-spark-client-3.1.2.jar
09-17
hive-on-spark客户端
Spark不能使用hive自定义函数.doc
最新发布
03-06
Spark不能使用hive自定义函数
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
CDH6针对hive on spark的调优文档，这个是生产的实战经验
【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
01-07
ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. 前言报错信息异常分析配置改动后记 前言 在成功消除Cloudare管理界面上那些可恶的警告之后，我又对yarn...
spark 任务提交 conf不生效
cyz52的博客
12-15 931
提交任务的时候 --conf 等配置需要放在jar包前面，否则不会生效 具体环境信息可以在 点击任务 点击Environment 可以看到当前任务的详细信息
Spark SQL小文件问题解决。
Wumo的博客
12-31 192
https://www.jianshu.com/p/ddd2382a738a
Hadoop/Hive/Spark小文件处理
运维仙人
06-15 3752
小文件指的是文件size比HDFS的block size小很多的文件。Hadoop适合处理少量的大文件，而不是大量的小文件。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个block，则namenode大约需要2G空间。如果存储1亿个文件，则namenode需要20G空间。这样namenode内存容量严重制约了集群的扩展。 其次，访问大量小文件速度远远小于访问几个大文件。HDFS最初是为流式访问大文件开
spark 导入文件到hive出现多小文件的问题
大数据学习笔记
09-04 2835
环境： ambari:2.6.1 spark 2.1 python 3.6 oracle 11.2 sqoop 1.4 将sqoop采集到HDFS中的文件导入到HIVE数据库，导入成功后，发现hive数据库中出现多个小文件的问题，严重影响后期数据分析的加载速度。 解决方法： SJTable = spark.sql("select * from " + t...
spark实现hive的合并输入很多小文件为指定大小的大文件的优化功能
xiao_jun_0820的专栏
03-16 9750
源码地址：https://github.com/RetailRocket/SparkMultiTool 找到的先记下来，有空研究一下。
【Hive任务优化】—— 小文件合并相关参数
热门推荐
u013332124的专栏
08-31 1万+
set hive.merge.mapfiles=true; set hive.merge.mapredfiles=true; set hive.merge.smallfiles.avgsize=256000000; set hive.merge.size.per.task = 256000000; （未完待续）
关于hive on spark的distribute by和group by使用以及小文件合并问题
weixin_43272605的博客
01-25 3612
问题导言 最近在使用hive时，发现一些任务的因为使用mapreduce的缘故，跑的太慢了，才几十个G的数据就经常跑一个多小时，于是有了切换spark的想法。 但是刚刚切换了spark，第二天发现跑出来的数据文件数大大增加，而且每个文件都非常小，导致下游spark任务为了每个小文件都启动一个task，申请资源对于spark来说是非常消耗资源的，任务又大大延迟了。 查了下关于spark合并小文件，目前有几个参数会提供参考。 输入端 set mapred.max.split.size=256000000; 设
Hive on Spark功能目前只增加下面九个参数
Adolph的专栏
06-13 4014
Hive on Spark功能目前只增加下面九个参数，具体含义可以参见下面介绍。 hive.spark.client.future.timeout 　　Hive client请求Spark driver的超时时间，如果没有指定时间单位，默认就是秒。Expects a time value with unit (d/day, h/hour, m/min, s/sec, ms/msec, us/use...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值