Hive修复分区或修复表 以及msck命令的使用

已于 2023-02-14 10:56:51 修改
阅读量1.2k 收藏
点赞数
分类专栏： 大数据 # HIve 文章标签： hive hadoop 大数据
于 2023-02-14 10:16:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzhcoder/article/details/129015415
版权

目录

问题原因

解决方法

例子

后续

问题原因

之前hive里有数据，后面MySQL数据库坏了，导致hive元数据信息丢失，但是hdfs上hive表的数据并没有丢失，重新建表后查看hive分区没有，数据也没有。需要进行修复。

解决方法

可以使用msck repair table xxxxx命令修复！

msck repair table <table_name>;
<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
数据与后端架构提升之路
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Hive的分区表
01-20
Hive分区表 Hive分区表对应的是HDFS上独立的文件夹，该文件夹存放的是该分区的所有数据，其实分区就是分目录。Hive通过分区把一个大的数据集根据业务需要分割成小的数据集，在查询时能够通过where关键词选择指定分区，从而提高查找效率。为什么这样能够提高查找效率呢？其实是因为Hive存放的数据是没有索引的，如果没有建立分区直接查询，Hive就会暴力查询，效率很低，所以通过分区能很好提高Hive的查询效率。分区还能够更加方便的管理一些特殊数据，例如一些日志数据，可以是一个天一个分区或者一个月一个分区，视数据量而定，这样就能很好地管理日志数据了。 分区表的基本操作 现在有以下数据： 10 A
hive的msck repair命令
王义凯 的博客
11-01 1万+
msck repair table tablename 修复表分区，常用于手动复制目录到hive表的location下，此时Hive元数据中没有记录到该目录是hive的分区，所以查不到该分区数据。 例子： 表test_tbl，存储路径为/user/hive/warehouse/test_tbl，分区字段为pt，正常添加分区是这样的： alter table add if not exist...
HIVE常用命令之MSCK REPAIR TABLE命令简述
最新发布
weixin_42326851的博客
03-08 465
HIVE常用命令之MSCK REPAIR TABLE命令简述
hive MSCK 修复分区
wflh323的专栏
06-12 3652
在日常工作中会遇到基于某种原因hive 表有很多历史数据按目录存放但并没有添加到hive表中，用户需要历史数据需重新修复添加分区，命令如下： MSCK REPAIR TABLE table_name; 为了让 MSCK 命令工作，分区的目录名必须是 /partition_name=partition_value/结构的，否则将无法添加分区。这时候你必须使用add partition命令了 ...
2.Hive表结构变更时，滥用MSCK REPAIR TABLE语句，导致变更语句执行时间过长
每天进步一点点
11-25 2409
1.分析原因 很多人可能都知道这个语句是用来修复分区的，但具体修复了什么，就说不上来了。 2.解决办法 搞清楚这个命令的作用就不会滥用了。 3.实战演习 （1）查看官方文档 （a）从这一段说明可以看出，元数据中存储着一个关于分区的列表，如果通过hadoop 命令或者其他方式（非hive命令）在hdfs上添加了分区，元数据库并不能自动感知到分区的修改。 Recover Partitions (MSCK REPAIR TABLE...
msck repair命令 修复表分区
cuituancheng9378的博客
01-04 1153
msckrepairtable 表名； 该命令会把没添加进partition的数据，都增加对应的partition。同步源数据信息metadata。 场景： ...
HIVE常用命令之MSCK REPAIR TABLE
newchitu的博客
08-05 3335
目录 MSCK REPAIR TABLE 命令是做啥的 例子 后续 MSCK REPAIR TABLE 命令是做啥的 MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。 我们知道hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据库名，表名或者表...
refresh table 和 msck repair table 的区别
youhuakongzhi的博客
12-21 7653
https://stackoverflow.com/questions/45107866/aws-athena-msck-repair-table-takes-too-long-for-a-small-dataset https://athena.guide/articles/msck-repair-table/ https://www.jianshu.com/p/c1b0dc86f9b0 S3https://zhuanlan.zhihu.com/p/112057573
hive msck repair table 报错
Lorenzo's Oil
04-16 3323
hive msck repair table 报错 1.问题描述 msck repair table 库名.表名; 报错： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask 2.解决办法 set hive.msck.path.validation=ignore; 先使用上述命令后，再执行：msck repair table 库名.表名; ...
Hive常用命令之MSCK REPAIR TABLE命令概述
张之海的博客
05-24 5969
对于MSCK REPAIR TABLE命令，小编在工作中初见时，只有简单的理解——“刷新分区”。细究其原理便不得而知了。现在来将学习的内容记录一下。 首先，Hive能检测到的分区信息，存储在哪里？怎么新建分区才会存储在这个可（被Hive）检测位置上？怎么新建分区不会存储在这个可（被Hive）检测的位置上？MASK REAPRE TABLE有什么作用？ Hive能检测到的分区信息，存储在哪里？ 分区同database、table等一样，是Hive的元数据信息之一，存储在Derby、MySQL等数据库中。
Hive分区表
01-07
分区表就是根据指定字段的值进行分类、分组，字段值相同的分为一类然后存储在一个单独的HDFS文件中，多个类就存储在多个文件中。原本存储在一个文件中的数据现在存储在多个文件中，查询数据时只需要知道数据在哪个...
Hive表分区
09-21
Hive表分区，里面有比较详细的Hive表分区方法，希望能够有所帮助。
hive分区表分通表建表语句详解和例子
11-01
详细描述了hive分桶表，分区表的创建，附带详细建表语句，包含一级静态分区，二级静态分区，一级动态分区，二级动态分区，分区的查询，删除，添加，数据的导入
修改hive表分区名称
02-17
hive表修改分区数据
Hive分区修复msck repair
清平乐的技术专栏
05-08 5043
Hive的[MSCK REPAIR TABLE] 命令全量修复分区，目的就是将分区信息更新到元数据库中。该命令通常用于分区表的分区修复。 官方解释：（翻译版） Hive将每个表的分区信息保存在metastore中，如果通过hadoop fs -put命令直接将分区信息添加到HDFS，metastore是不会感知到这些新增的分区，除非执行了ALTER TABLE table_name ADD PARTITION命令。但是用户可以运行metastore检查命令MSCK REPAIR TABLE table_n
hive 分区表（msck repair 、动态分区）、分桶表（Load语句不会分桶）、抽样查询
热门推荐
不是一枚开发
07-03 6万+
  （1）创建分区表语法 注：，可将分区字段视为表的伪列。   （2）加载本地文件数据到指定分区 1.2 增加删除多个分区、查看表的分区   （1）增加分区 注：无需隔开   （2）删除分区   （3）查看分区表的分区   （1）创建分区表语法   （2）加载本地文件数据到指定分区   （3）查询分区数据   命令用于修复表分区，常用于手动复制分区数据到hive表location下，此分区没有记录到Hive元数据，所以查不到数据如：   上传数据：   查询不到结果：   执行修复命令：   查询
【hive】hive修复分区或修复表 以及msck命令的使用
Mrerlou的博客
08-17 3559
我们知道hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据库名，表名或者表的分区等等信息。如果不是通过hive的insert等插入语句，很多分区信息在metastore中是没有的，如果插入分区数据量很多的话，你用。在 Hive 中，当您向分区表添加、删除或更改分区数据时，有时会导致分区元数据不一致的情况。数据库坏了，导致hive元数据信息丢失，但是hdfs上hive表的数据并没有丢失，重新建表后查看hive分区没有，数据也没有。之前hive里有数据，后面存储元数据信息的。
hive 修复分区语句
07-20
Hive修复分区语句可以使用`MSCK REPAIR TABLE`命令来实现。这个命令用于修复Hive表中的分区，特别是在添加或删除分区后可能会出现的问题。 使用`MSCK REPAIR TABLE`命令的语法如下： ``` MSCK REPAIR TABLE table_name; ``` 其中，`table_name`是要修复分区的表名。 使用此命令，Hive将扫描存储在表位置下的目录，并将其中找到的新分区添加到表的分区列表中。这对于在Hive中管理分区表非常有用，因为手动添加或删除分区时，Hive元数据可能不会自动更新。 请注意，`MSCK REPAIR TABLE`命令只能修复由Hive管理的表中的分区，对于外部表，它将不起作用。此外，如果表中的分区数据目录发生变化，建议在使用该命令之前先执行`ALTER TABLE`命令更新表的元数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据与后端架构提升之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值