hive多张表join时，跑MR报错，org.apache.hadoop.hdfs.protocol.DSQuotaExceededException:The DiskSpace quota of /

最新推荐文章于 2024-03-13 07:00:00 发布
最新推荐文章于 2024-03-13 07:00:00 发布
阅读量2.2k 收藏 2
点赞数
分类专栏： 大数据之Hive 文章标签： 大数据 hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011110301/article/details/108790707
版权

hive多张表join报错！
org.apache.hadoop.hdfs.protocol.DSQuotaExceededException:The DiskSpace quota of /目录  is exceeded:quota=9.7T but  diskspace consumed = 9.7T at ........


解决：
查看目录设置的配额情况，SPACE_QUOTA是设置的空间配额，REM_SPACE_QUOTA是当前剩余的空间配额.
hdfs dfs -count -q -h -v /目录名
解决办法：
增加配额大小，即重新设置目录的配额大小
hadoop dfsadmin -setSpaceQuota 350G /目录名
清空配额。
hdfs dfsadmin -clrSpaceQuota /目录名 

大数据架构师Pony
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hadoop hdfs 命令行 设置文件夹大小的上限 quota：配额
weixin_34195546的博客
03-04 323
》bin/hdfs dfs -put readme.txt /finance 》bin/hdfs dfs -du -s /finance 》3901 /finance 》bin/hdfs dfsadmin -setSpaceQuota 4000 /finance 设置/finance的大小上限为4000个字节 》bin/hdfs dfs -put readme1.t...
Spark运行任务时报错：org.apache.hadoop.hdfs.protocol.DSQuotaExceededException: The DiskSpace quota of...
qq_45124566的博客
07-26 2154
org.apache.spark.SparkException:Task failed while writing rows. Caused by: org.apache.hadoop.hdfs.protocol.DSQuotaExceededException: The DiskSpace quota of /user/hive/warehouse/hs_data_odsdb.db is exceeded: quota = 13194139533312 B = 12 TB but diskspace ..
The DiskSpace quota of /five is exceeded: quota = 4096 B = 4 KB but diskspace consumed = 402653184
qq_44920169的博客
05-02 2210
进行配置hdfs出现 '‘The DiskSpace quota of /five is exceeded: quota = 4096 B = 4 KB but diskspace consumed = 402653184 B = 384 MB’'问题 当你用hdfs上传文件时，出现 类似的问题时，你不要慌张，其实这个只是你对文件进行了空间限额不规范导致的，空间大小限额最小384M，你只需要解除限额并重新设置限额大小即可 ...
Hdfs文件夹配额设置
z19920904的博客
07-24 1140
在load hdfs文件到hive时报错 The DiskSpace quota of is exceeded 首先用hdfs用户登录 清除配额上线 hadoop dfsadmin -clrSpaceQuota hdfs://chinacreator/apps/hive/warehouse/frk.db/ 设置配额 hadoop dfsadmin -se...
Impala SQL常见报错问题排查与解决记录
热门推荐
lonelymanontheway的博客
03-11 1万+
CDH 7.1.7版本enable关键词导致语法失败；Invalid query handle；SQLException: Sender timed out waiting for receiver fragment instance:dest node；SQLException: Cancelled；Cancelled from Impala's debug web interface；
hive replication的报错总结
qq_22498427的博客
11-30 1204
这几天在做hive数据同步，来唠唠遇到过的报错 1、java.io.IOExeption: Checksum mismatch between hdfs://distcpSourceNS/user/hive/warehouse/edmp_db.db/xxxx and hdfs://dsep-namservice1//user/hive/warehouse/edmp_db.db/xxxx 这个报错看不出是为啥校验和会不同，接着往下翻其他的报错，看到： The DiskSpace quota of .
解决Hive启动失败Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
01-09
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 通过控制台的...
Java-org.apache.hadoop
06-02
Java-org.apache.hadoop是Apache Hadoop项目的核心组件，它在分布式计算领域扮演着至关重要的角色。Hadoop是由Apache软件基金会开发的一个开源框架，主要用于处理和存储大量数据。它设计的初衷是为了支持数据密集型...
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti
01-07
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解决方法 ...
【Spark】六、org.apache.hadoop.security.AccessControlException
01-09
Exception in thread main org.apache.hadoop.security.AccessControlException: Permission denied: user=L.MOON, access=WRITE, inode=/user/lsy/result1/_temporary/0:lsy:supergroup:drwxr-xr-x Caused by: org....
hive3的join数据错误
亮仔的专栏
03-02 2864
我们生产使用的hive3.1.2版本，hadoop也是3版本，用户通过使用hive发现join数据错误。分析SQL发现，当3表(含3表)以上，hive join出来的数据是错误。后来我通过测试发现，不管是left join、inner join还是right join，数据都会出现错误，通过后来的其他测试发现，两个表使用in和exists作为条件查询，出来的数据也是错误的。这是hive3的一个重大bug，使用hive3的小心了。 这个bug纠缠了我好久，后来定位出来hive...
HDFS配额设置和测试
DataFlow范式
04-25 4509
名称配额（Name Quota）名称配额是在对应的目录下所有文件和目录名称的数量上的限制。当超过这个配额的时候，文件或目录就会创建失败，重命名后名称配额仍然有效。因为比较简单，所以我们直接测试：步骤一：创建一个测试目录[root@testbig1 ~]# hdfs dfs -mkdir /data/test_quota1 步骤二：设置创建的目录的名称配额[root@testbig1 ~]# hdf
hdfs quota(SapceQuota是物理空间)
王小禾
12-03 1201
关于hdfs quota，参见3篇博客的讲解。 https://blog.csdn.net/qq_28069577/article/details/90262992 https://blog.csdn.net/liuxiao723846/article/details/71078658 https://blog.csdn.net/picway/article/details/80373078 ...
已解决org.apache.hadoop.hdfs.protocol.QuotaExceededException异常的正确解决方法，亲测有效！！！
最新发布
小明的Java问道之路
03-13 2359
已解决org.apache.hadoop.hdfs.protocol.QuotaExceededException异常的正确解决方法，亲测有效！！！
Spark程序运行常见错误解决方法以及优化
AcceptedLin的博客
08-19 4214
Spark程序运行常见错误解决方法及优化 一.org.apache.spark.shuffle.FetchFailedException 1.问题描述 这种问题一般发生在有大量shuffle操作的时候,task不断的failed,然后又重执行，一直循环下去，非常的耗时。 2.报错提示 (1) missing output loc...
Hive sql 常见数据倾斜(类型不匹配、复杂join条件)的分析解决
jianzhong071的博客
12-06 3021
本篇以hive sql解析器来讨论问题，spark sql 的处理方法类似，大家可自行测试。 本篇不分析各种会造成数据倾斜的原因，数据倾斜形成的原因也只是简单提及。本篇主要分析在sql中进行join操作时，会造成数据倾斜的常见两大原因，以及解决方法。我认为这两种情况，在工作中出现的几率较高，所以单独拿出来讨论。 数据倾斜造成的原因（懂的可以跳过不看）： 这个问题简单来说，就是分布式处理中，每个节点处理的数据量差距较大，而导致单节点负担过重，处理时间过长，而拖慢整个作业的执行时间。在hive中，常见的处理引擎
Hive:org.apache.hadoop.hdfs.protocol.NSQuotaExceededException: The NameSpace quota (directories and ...
weixin_33811539的博客
12-15 1205
集群中遇到了文件个数超出限制的错误: 0）昨天晚上spark 任务突然抛出了异常：org.apache.hadoop.hdfs.protocol.NSQuotaExceededException: The NameSpace quota (directories and files) of directory /mydir is exceeded: quota=100000 file...
HDFS Quota浅析
wayblink的博客
05-19 5443
简介 HDFS支持Quota功能，我无意深入研究，简单总结：Hadoop提供两种配额（quota）模式，name quota和space quota。name quota限制路径的文件（含文件夹）数目，space quota限制的”磁盘”占用空间。可以通过此功能实现团队的存储使用管理。 使用方法 设置 set HDFS name quotas: $ hadoop dfsadmin -...
初始化hive元数据库报错org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.
09-14
初始化Hive元数据库报错"org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version."通常是由于数据库访问权限问题引起的。根据提供的引用，错误信息显示访问用户'root'@'single01'被拒绝...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据架构师Pony

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值