执行Hive insert语句时MR阶段报错

最新推荐文章于 2022-12-19 15:24:07 发布
最新推荐文章于 2022-12-19 15:24:07 发布
阅读量579 收藏 1
点赞数
文章标签： 大数据 hive hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Championers/article/details/112141447
版权
在执行Hive的insert语句时遇到MR阶段报错，问题源于找不到加载主类。通过检查YARN日志，确定是配置文件yarn-site.xml的问题。解决方案是更新yarn-site.xml，添加yarn.application.classpath配置，并确保值包含hadoop classpath查询到的所有内容。重启Hadoop集群和Hive服务后，插入操作成功。
摘要由CSDN通过智能技术生成

问题描述：

执行Hive insert语句时MR阶段报错
Error during job，obtaing debugging information…
在这里插入图片描述

原因分析：

查看Hive.log
在这里插入图片描述
并没有发现什么有价值的信息

网上说是因为namenode内存空间不够导致的，需要设置成本地模式

set hive.exec.mode.local.auto=true;

再次运行后提示没有设置本地目录，只能换方法
在这里插入图片描述
考虑到是MR阶段的问题，果断查看YARN的log日志

最低0.47元/天 解锁文章
Championers
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive 锁表，导致不能insert ，update 以及drop table 也不行，，解除hive锁表终极 解决方案！！！！
qq_27493503的博客
07-03 6439
    今天遇见hive插入的时候卡死不执行的问题   （直接上图）     起初我以为是hive启动报错，把日志调整到debugger级别查看发现该表被锁了。（PS:找了半天终于找到问题了）起初想着先把表删掉看看，结果表被锁定以后 不能drop卡死不往下执行，无论是drop 还是insert 或者 update于是各种网上搜索 ，hive怎么解除锁表（直接上图）先查看一下 是否锁表（肯定是锁了，...
关于hive在运行insert时失败原因刨析
Anolzo
11-12 2528
设置yarn容器最大内存、容器最小内存等。运行 insert语句后。原因虚拟机内存不足。
hive中创建子表并插入数据过程初始化MR报错解决方法
weixin_34216036的博客
06-24 393
本文继成上一篇通过hive分析nginx日志文章，详情参考下面链接： http://www.cnblogs.com/wcwen1990/p/7066230.html   接着来：   创建业务子表： drop table if exists chavin.nginx_access_log_comm; create table if not exists chavin.nginx_ac...
一劳永逸解决Hive执行insert命令调用MR任务报错问题
03-11 5767
一劳永逸_解决Hive执行insert指令集调用MapReduce任务的报错问题
hive连接hbase外部表，向hbase中insert数据时报错
weixin_34268310的博客
03-18 660
为什么80%的码农都做不了架构师？>>> ...
hive跑mr时报错，java.lang.IllegalArgumentException: The value of property yarn.resourcemanager.zk-address
隔壁的泰山的博客
12-19 480
E1:hive跑mr时报错，java.lang.IllegalArgumentException: The value of property yarn.resourcemanager.zk-address must not be null
使用Python构造hive insert语句说明
12-17
因此，当需要构建Hive的INSERT语句时，我们通常需要自定义解决方案，例如利用编程语言如Python来实现。 在给定的场景中，描述提到的方法是通过在Hive命令行中打印数据，然后手动复制到Python脚本来构造INSERT语句。...
Hive那些事儿之八-大数据踩过的坑——Hive insert
01-07
Hive那些事儿之八-大数据踩过的坑——Hive insert 我在对Hive表数据清洗后，使用了如下SQL将结果集插入到新表中: insert into db_name.table_name_1 ( col_1,col2,col3 ) with temp_table_1 as ( select id,col_2 ...
hive on tez 常见报错问题收集
01-26
Hive on Tez在处理insert语句与union all结合时，会进行优化，这可能导致在MR引擎中查询结果为空。解决方法包括： - 避免使用union all生成结果表，改用其他查询方式。 - 设置`mapred.input.dir.recursive`为true...
hive建表语句
08-19
hive建表语句hive建表语句hive建表语句hive建表语句hive建表语句hive建表语句
Hive写不进数据
qq_47971105的博客
08-19 706
有没有大佬帮忙看一下这个问题 Hive可以正常启动，但是写不进去数据
hive数据库的哪些函数操作是否走MR
weixin_30736301的博客
03-14 841
平时我们用的HIVE 我们都知道 select * from table_name 不走MR 直接走HTTP hive 0.10.0为了执行效率考虑，简单的查询，就是只是select，不带count,sum,group by这样的，都不走map/reduce，直接读取hdfs文件进行filter过滤。这样做的好处就是不新开mr任务，执行效率要提高不少，但是不好的地方就是用户界面不友好，有时候数...
关于Hive SQL是否走MR任务的总结
u012667450的博客
04-28 1642
关于Hive SQL是否走MR任务的总结 Hive1.X和Hive2.X的版本，默认情况下，一般都会走MR程序。除了三种情况： 1.select * from table_name #select * 的情况不会走MR 2.select column1,column2 ... from table_name #select指定字段名的情况不会走MR（where和having除外） 3.select * from table_name limit N #select * 限制输出条数不会走MR 当然，以上说
黑猴子的家：Hive Fetch抓取（Hive可以避免进行MapReduce）
黑猴子的博客
09-29 757
Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。 在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minimal，该属性修改为mo...
Hive执行查询（需要通过MR）卡住无法运行问题解决
weixin_43190860的博客
06-24 8032
背景：测试hive时，执行简单查询select count(*) from test.t1;，任务跑起来后卡住不动，也不报错，如下图： 原因：最后发现是参数：yarn.nodemanager.resource.memory-mb设置的太小导致的 进入CDH管理界面，Yarn的配置中这个参数显示如下： 这里的“容器内存”这个解释误导了我，开始我以为这个参数是设置每个container容器的内存大...
Hive---select语句什么时候不走MR
shall潇の菜园
04-20 1805
其实普通全表查询—不需要走MR 例如：select * from 表名 ，这是通过对文件进行filter过滤就可以实现查询 count、sum、group等聚合函数—是一定会走MR的 【注意：配置简单查询不走MR的方式】 在hive-site.xml里面有个配置参数：hive.fetch.task.conversion 将这个参数设置为more，简单查询就不走map/reduce了，设置为minimal，就任何简单select都会走map/reduce 不走MR的各种情况： 1、等值判断 select *
hive避免MR的情况
weixin_43705952的博客
05-08 1442
什么情况下Hive可以避免进行MapReduce hive 为了执行效率考虑，简单的查询，就是只是select，不带count,sum,group by这样的，都不走map/reduce，直接读取hdfs目录中的文件进行filter过滤。也就是所谓的本地模式。 sql select * from employee; sql select * from order_partition where month=‘2020-05’; 此外，如果设置属性 set hive.exec.mode.local.auto=
hive插入数据失败解决方法
热门推荐
小小码农
03-24 1万+
记录一次hive 错误 描述错误： 进入hive客户端插入数据报错 # 报错： hive (default)> insert into javaAndBigdata.student(id,name) values (3,"java页大数据"); Query ID = root_20220323224810_5192a9f4-95ae-4166-b21e-c8e5f1493c32 Total jobs = 3 Launching Job 1 out of 3 Number of reduce task
hive引擎为 mr时报错解决方法
只想买把蝴蝶knife
09-14 1158
当遇到这种问题时，当hive使用mr的时候会出现此问题，这时候不仅需要改变namenode和datanode中的yarn-site.xml配置，同时需要改变hive目录下的yarn-site.xml配置，这可能是调用mr时是使用的hive的classpath。
hive导出数据报错
最新发布
09-13
导出Hive表数据时出现报错的原因可能是由于无法将源数据从HDFS移动到目标目录导致的。根据引用中的错误信息，报错信息显示"Unable to move source"，并提到了源路径和目标路径。这表明在执行任务时，将数据从源路径移动到目标路径时遇到了问题。 根据引用中提供的代码，导出Hive表数据的语句是使用"insert overwrite local directory"的方式。该语句将表中的数据插入到指定的本地目录中。然而，由于无法将数据从HDFS移动到本地目录，导致了报错。 可能的原因之一是目标目录不存在或是没有足够的权限进行写入操作。你可以确认一下目标目录"/data/hive/out"是否存在，并且对于当前用户是否具有写入权限。 另外一个可能的原因是源数据在HDFS上的路径无效或不可访问。你可以检查一下源数据路径"hdfs://node1:8020/tmp/hive/hadoop/e1f5e71d-375d-4393-a07c-fe44a4a77626/hive_2022-07-21_22-18-53_655_4722056337462286090-1/-mr-10000"是否正确，并且确保你有访问该路径的权限。 如果以上两个原因都不是问题所在，还有可能是由于其他配置或环境问题导致的。你可以检查一下相关的配置文件，如Hadoop、Hive和Spark的配置文件，确保它们的配置正确并且与集群环境匹配。 综上所述，当导出Hive表数据报错时，你可以检查以下几个方面： 1. 确认目标目录是否存在并且对于当前用户具有写入权限； 2. 检查源数据在HDFS上的路径是否正确并且你具有访问权限； 3. 检查相关配置文件的配置是否正确并且与集群环境匹配。 希望以上信息对你有帮助。如果还有其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值