Failed with exception Unable to move source hdfs://maeter:8000/usr/local/hadoop/input/test_hive/test

最新推荐文章于 2024-05-19 17:19:02 发布
最新推荐文章于 2024-05-19 17:19:02 发布
阅读量1.2w 收藏 5
点赞数 2
分类专栏： HIVE 文章标签： hive hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yulinlin_fei/article/details/52796397
版权
Hive执行的过程报  

Failed with exception Unable to move source hdfs://maeter:8000/usr/local/hadoop/input/test_hive/test_hive.txt to destination hdfs://maeter:8000/usr/hive/warehouse/test_hive2/test_hive.txt


是因为hive执行的时候，对hdfs的访问权限不够


执行：

    hadoop fs -chmod -R 755 /tmp

   hadoop fs -chmod -R  777/usr

搬砖者
关注
专栏目录
hive的load报错Error: EXECUTION FAILED: Task MOVE error HiveException: [Error 20531] Unable to move sour
weixin_49114503的博客
12-11 794
hive load报错Error: EXECUTION FAILED: Task MOVE error HiveException: [Error 20531] Unable to move source hdfs://nameservice1/tmp/logs to destination
Hive报错：Failed with exception Unable to move source file:******* to destination hdfs:******
qq_51741039的博客
04-27 5824
Hive报错：Failed with exception Unable to move source file:******* to destination hdfs:****** 报错截图： 不磨叽，直接上我的处理方法 处理方法：很可能是防火墙没关（每台机子都要关） systemctl start firewalld systemctl stop firewalld 解题思路： 1.不能够移动源文件，可能出现用户权限不够的情况 sudo chmod -R 777 root/1.tx
hive日志位置（日志定位报错:Failed with exception Unable to move sourcehdfs://namenode/tmp/hive-pmp_bi/h）...
weixin_30563319的博客
12-17 897
Hive中的日志分为两种 1. 系统日志，记录了hive的运行情况，错误状况。 2. Job 日志，记录了Hive 中job的执行的历史过程。 日志查看方法 1，在本地运行机器上 hive日志存储位置在本机上，不是hadoop上： 在hive/conf/ hive-log4j.properties 文件中记录， 该文件如果没有，就是使用默认，默认的存储...
Hive导出数据到hdfs时报错：Unable to move source hdfs:XXX
最新发布
weixin_42190438的博客
05-19 322
insert overwrite 时发生了上述错误，从下图可以看到，hive任务已经执行成功了，只是在把数据从临时目录转移到指定目录时发生了错误。使用命令：hadoop fs -chmod 766 film_name修改。可以看到要写入的文件夹的权限不够，所以修改使其具有读写权限即可。或者在hdfs网页端修改，鼠标放到图中所在位置即会出现修改界面。修改文件夹权限后，再次执行就成功了。
Hive报错：Unable to move source hdfs:****** to destination hdfs:******（已解决）
weixin_41589448的博客
04-02 619
所以根本原因就是：该分区表在 HIVE中的元数据与HDFS上实际的数据不一致，当执行 insert overwrite 操作时，hive 通过存储在 metastore 中的元数据信息发现目标分区并不存在，也就不会尝试去执行hdfs上该分区对应目录的删除操作了，而实际上hdfs上该分区对应的目录和文件都是存在的，所以作业底层的 rename 操作失败了。修复 hive 元数据跟hdfs实际的数据一致，使用命令 msck repair table xxx来修复hive表的元数据。
hive moving data报错，unable to move source...，yarn显示任务执行成功
涤生大数据
11-15 6564
1.报错情况 有个小伙伴hive任务报错，moving data时，报错如下 Failded with exception:unable to move source hdfs://........... 2.问题排查 这种情况一般跟任务没有关系了，说明hive任务已经执行成功了。因为默认hive，spark任务数据先写到一个临时目录，等各个节点的数据都写完整以后，校验没问题了，在move到表的hdfs路径下（所谓move其实就是重命令），这个过程报错，说明跟hdfs有关系，跟yarn，hiv.
hive日志位置（日志定位報錯:Failed with exception Unable to move sourcehdfs
m0_51040382的博客
08-08 828
Hive中的日志分為兩種 1. 系統日志，記錄了hive的運行情況，錯誤狀況。 2. Job 日志，記錄了Hive 中job的執行的歷史過程。 日志查看方法 1，在本地運行機器上 hive日志存儲位置在本機上，不是hadoop上： 在hive/conf/ hive-log4j.properties 文件中記錄， 該文件如果沒有，就是使用默認，默認的存儲情況： hive.root.logger=WARN,DRFA hive.log.dir=/tmp
【Hive】 报错 FAILED: SemanticException Unable to determine if hdfs://
Simple 专栏
10-08 3466
Logging initialized using configuration in file:/soft/softwares/apache-hive-1.2.1-bin/conf/hive-log4j.properties FAILED: SemanticException Unable to determine if hdfs://localhost:8020/user/hive/wareh...
hadoop遇到Output directory hdfs://iflytek01:9000/test/output already exists
qq_41621174的博客
10-30 2678
hadoop遇到Output directory hdfs://iflytek01:9000/test/output already exists的解决方案 问题描述： [root@iflytek01 ~]# hadoop jar /datas/wordcount02.jar TestReduce.WordCount /test/hdfs02.txt /test/output/ 19/10/30 ...
hadoop 用-get报错get: mkdir `/usr/local/test‘: Input/output error
wudada88的博客
03-05 2950
原因：我没有分布式配置hadoop 解决方案：用vi编辑器新建并修改以下两个配置文件（core-site.xmlcore-site.xml） [root@wyd4224-1 hadoop]# vi core-site.xml 文件中写入： <configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/loca...
如何解决hadoop文件无法浏览问题“Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error“
笔者从事电信媒体开发多年，愿意将多年的开发经验分享给同行
12-29 5074
搭建好了hadoop环境后，namenode、datanode看着都是正常的。但是当点到browser the file system时，结果报错了，报错的内容是“Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error“.后来我从oracel的官网上下载了jdk的11版本，上传到服务器上，解压缩，重新配置JAVA_HOME环境变量。问题解决。
Hive数据仓库问题:SemanticException Unable to determine if hdfs
一亩三分地
06-01 1万+
hive> select * from users; 报错信息: FAILED: SemanticException Unable to determine if hdfs://mycluster/user/hive/warehouse/hive.db/users is encrypted: java.lang.IllegalArgumentException: Wrong ...
hive查询写文件报错Failed with exception Unable to move source hdfs:xx to destination xxx
bottle123的专栏
11-24 1万+
今天用hive查询数据并导出到某个文件夹的时候，报错Failed with exception Unable to move source hdfs:xx to destination xxx 查看hive的log，如下 解决方法：$HADOOP_HOME/share/hadoop/tools/lib/hadoop-distcp-2.6.0.jar放入hive的lib目录
出现报错：org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source
sinat_35197112的博客
10-27 2242
出现报错：org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source
hive 导出数据报错问题解决
qq_51943014的博客
07-21 1418
Failed with exception Unable to move source hdfs://node1:8020/tmp/hive/hadoop/e1f5e71d-375d-4393-a07c-fe44a4a77626/hive_2022-07-21_22-18-53_655_4722056337462286090-1/-mr-10000 to destination /data/hive/out FAILED: Execution Error, return code 1 from org.ap
[Hive]那些年我们踩过的Hive坑
热门推荐
SmartSi
06-12 3万+
（1）问题一  首先，采用这个命令： hive -hiveconf hive.root.logger=DEBUG,console 可以查看详细信息然后分析可知，缺少mysql的jar包，下载mysql-connector-java-5.1.32.tar.gz，并进行一下操作。 下一步操作，添加jar包： （2）问题二
Hive中常出现的错误(不定时更新)
小健的博客
11-23 8806
1.加载数据失败 hive> load data local inpath '/home/user/hive.txt' into table studentl > ; FAILED: SemanticException [Error 10001]: Line 1:56 Table not found 'studentl' hive> load data local inpath '/ho
hive1.2.1 MoveTask报错
刘光华的专栏
10-14 5553
环境：hadoop2.6+hive1.2.1 这个MoveTask错误可能是由于权限引起的（如果启用了hdfs acl）。也可能是其他原因： 任务报错： Moving data to: hdfs://sdf-cluster/user/hive/warehouse/data_tds.db/user-themes-layer-data/20151009/lgenv/cloud/.hive-sta
Failed with exception Unable to move source file:/root/book.txt to destination hdfs://master01:9000/user/hive/warehouse/dongdb.db/book_1/book.txt
06-02
根据您提供的信息，这个错误可能是因为源文件 /root/book.txt 没有权限移动到目标路径 hdfs://master01:9000/user/hive/warehouse/dongdb.db/book_1/book.txt 。您可以检查以下几点： 1. 源文件 /root/book.txt 是否存在，是否有读取权限； 2. 目标路径 hdfs://master01:9000/user/hive/warehouse/dongdb.db/book_1 是否存在，是否有写入权限； 3. 您是否有足够的权限执行文件移动操作。 如果您确定以上问题都已经排除，那么您可以尝试使用管理员身份执行文件移动操作，或者联系系统管理员进行操作。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值