HIVE常用命令之MSCK REPAIR TABLE命令简述

最新推荐文章于 2024-05-21 15:21:28 发布
最新推荐文章于 2024-05-21 15:21:28 发布
阅读量482 收藏
点赞数 1
分类专栏： bigData # hive 文章标签： hive hadoop 数据仓库
原文链接：https://www.jianshu.com/p/c1b0dc86f9b0
版权
bigData 同时被 2 个专栏收录
18 篇文章 0 订阅
订阅专栏
hive
15 篇文章 0 订阅
订阅专栏

文章目录

前言

hive的 MSCK REPAIR TABLE 详细介绍

MSCK REPAIR TABLE 命令是做啥的

MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。

我们知道hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据库名，表名或者表的分区等等信息。如果不是通过hive的insert等插入语句，很多分区信息在metastore中是没有的，如果插入分区数据量很多的话，你用 ALTER TABLE table_name ADD PARTITION 一个个分区添加十分麻烦。这时候MSCK REPAIR TABLE就派上用场了。只需要运行MSCK REPAIR TABLE命令，hive就会去检测这个表在hdfs上的文件，把没有写入metastore的分区信息写入metastore。

例子

  • 我们先创建一个分区表，然后往其中的一个分区插入一条数据，在查看分区信息
CREATE TABLE repair_test (col_a STRING) PARTITIONED BY (par STRING);
INSERT INTO TABLE repair_test PARTITION(par="partition_1") VALUES ("test");
SHOW PARTITIONS repair_test;
  • 查看分区信息的结果如下
0: jdbc:hive2://localhost:10000> show partitions repair_test;
INFO  : Compiling command(queryId=hive_20180810175151_5260f52e-10bb-4589-ad48-31ba72a81c21): show partitions repair_test
INFO  : Semantic Analysis Completed
INFO  : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:partition, type:string, comment:from deserializer)], properties:null)
INFO  : Completed compiling command(queryId=hive_20180810175151_5260f52e-10bb-4589-ad48-31ba72a81c21); Time taken: 0.029 seconds
INFO  : Executing command(queryId=hive_20180810175151_5260f52e-10bb-4589-ad48-31ba72a81c21): show partitions repair_test
INFO  : Starting task [Stage-0:DDL] in serial mode
INFO  : Completed executing command(queryId=hive_20180810175151_5260f52e-10bb-4589-ad48-31ba72a81c21); Time taken: 0.017 seconds
INFO  : OK
+------------------+--+
|    partition     |
+------------------+--+
| par=partition_1  |
+------------------+--+
1 row selected (0.073 seconds)
0: jdbc:hive2://localhost:10000>
  • 然后我们通过hdfs的put命令手动创建一个数据
[ericsson@h3cnamenode1 pcc]$ echo "123123" > test.txt
[ericsson@h3cnamenode1 pcc]$ hdfs dfs -mkdir -p /user/hive/warehouse/test.db/repair_test/par=partition_2/
[ericsson@h3cnamenode1 pcc]$ hdfs dfs -put -f test.txt /user/hive/warehouse/test.db/repair_test/par=partition_2/
[ericsson@h3cnamenode1 pcc]$ hdfs dfs -ls -R /user/hive/warehouse/test.db/repair_test
drwxrwxrwt   - ericsson hive          0 2018-08-10 17:46 /user/hive/warehouse/test.db/repair_test/par=partition_1
drwxrwxrwt   - ericsson hive          0 2018-08-10 17:46 /user/hive/warehouse/test.db/repair_test/par=partition_1/.hive-staging_hive_2018-08-10_17-45-59_029_1594310228554990949-1
drwxrwxrwt   - ericsson hive          0 2018-08-10 17:46 /user/hive/warehouse/test.db/repair_test/par=partition_1/.hive-staging_hive_2018-08-10_17-45-59_029_1594310228554990949-1/-ext-10000
-rwxrwxrwt   3 ericsson hive          5 2018-08-10 17:46 /user/hive/warehouse/test.db/repair_test/par=partition_1/000000_0
drwxr-xr-x   - ericsson hive          0 2018-08-10 17:57 /user/hive/warehouse/test.db/repair_test/par=partition_2
-rw-r--r--   3 ericsson hive          7 2018-08-10 17:57 /user/hive/warehouse/test.db/repair_test/par=partition_2/test.txt
[ericsson@h3cnamenode1 pcc]$
  • 这时候我们查询分区信息，发现partition_2这个分区并没有加入到hive中
0: jdbc:hive2://localhost:10000> show partitions repair_test;
INFO  : Compiling command(queryId=hive_20180810175959_e7cefe8c-57b5-486c-8e03-b1201dac4d79): show partitions repair_test
INFO  : Semantic Analysis Completed
INFO  : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:partition, type:string, comment:from deserializer)], properties:null)
INFO  : Completed compiling command(queryId=hive_20180810175959_e7cefe8c-57b5-486c-8e03-b1201dac4d79); Time taken: 0.029 seconds
INFO  : Executing command(queryId=hive_20180810175959_e7cefe8c-57b5-486c-8e03-b1201dac4d79): show partitions repair_test
INFO  : Starting task [Stage-0:DDL] in serial mode
INFO  : Completed executing command(queryId=hive_20180810175959_e7cefe8c-57b5-486c-8e03-b1201dac4d79); Time taken: 0.02 seconds
INFO  : OK
+------------------+--+
|    partition     |
+------------------+--+
| par=partition_1  |
+------------------+--+
1 row selected (0.079 seconds)
0: jdbc:hive2://localhost:10000>
  • 运行MSCK REPAIR TABLE 命令后再查询分区信息,可以看到通过put命令放入的分区已经可以查询了
0: jdbc:hive2://localhost:10000> MSCK REPAIR TABLE repair_test;
INFO  : Compiling command(queryId=hive_20180810180000_7099daf2-6fde-44dd-8938-d2a02589358f): MSCK REPAIR TABLE repair_test
INFO  : Semantic Analysis Completed
INFO  : Returning Hive schema: Schema(fieldSchemas:null, properties:null)
INFO  : Completed compiling command(queryId=hive_20180810180000_7099daf2-6fde-44dd-8938-d2a02589358f); Time taken: 0.004 seconds
INFO  : Executing command(queryId=hive_20180810180000_7099daf2-6fde-44dd-8938-d2a02589358f): MSCK REPAIR TABLE repair_test
INFO  : Starting task [Stage-0:DDL] in serial mode
INFO  : Completed executing command(queryId=hive_20180810180000_7099daf2-6fde-44dd-8938-d2a02589358f); Time taken: 0.138 seconds
INFO  : OK
No rows affected (0.154 seconds)
0: jdbc:hive2://localhost:10000> show partitions repair_test;
INFO  : Compiling command(queryId=hive_20180810180000_ff711820-6f41-4d5d-9fee-b6e1cdbe1e25): show partitions repair_test
INFO  : Semantic Analysis Completed
INFO  : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:partition, type:string, comment:from deserializer)], properties:null)
INFO  : Completed compiling command(queryId=hive_20180810180000_ff711820-6f41-4d5d-9fee-b6e1cdbe1e25); Time taken: 0.045 seconds
INFO  : Executing command(queryId=hive_20180810180000_ff711820-6f41-4d5d-9fee-b6e1cdbe1e25): show partitions repair_test
INFO  : Starting task [Stage-0:DDL] in serial mode
INFO  : Completed executing command(queryId=hive_20180810180000_ff711820-6f41-4d5d-9fee-b6e1cdbe1e25); Time taken: 0.016 seconds
INFO  : OK
+------------------+--+
|    partition     |
+------------------+--+
| par=partition_1  |
| par=partition_2  |
+------------------+--+
2 rows selected (0.088 seconds)
0: jdbc:hive2://localhost:10000> select * from repair_test;
INFO  : Compiling command(queryId=hive_20180810180101_1225075e-43c8-4a49-b8ef-a12f72544a38): select * from repair_test
INFO  : Semantic Analysis Completed
INFO  : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:repair_test.col_a, type:string, comment:null), FieldSchema(name:repair_test.par, type:string, comment:null)], properties:null)
INFO  : Completed compiling command(queryId=hive_20180810180101_1225075e-43c8-4a49-b8ef-a12f72544a38); Time taken: 0.059 seconds
INFO  : Executing command(queryId=hive_20180810180101_1225075e-43c8-4a49-b8ef-a12f72544a38): select * from repair_test
INFO  : Completed executing command(queryId=hive_20180810180101_1225075e-43c8-4a49-b8ef-a12f72544a38); Time taken: 0.001 seconds
INFO  : OK
+--------------------+------------------+--+
| repair_test.col_a  | repair_test.par  |
+--------------------+------------------+--+
| test               | partition_1      |
| 123123             | partition_2      |
+--------------------+------------------+--+
2 rows selected (0.121 seconds)
0: jdbc:hive2://localhost:10000>

后续

后面发生了更有意思的事情。大致情况是很多人以为alter table drop partition只能删除一个分区的数据，结果用hdfs dfs -rmr 删除hive分区表的hdfs文件。这就导致了一个问题hdfs上的文件虽然删除了，但是hive metastore中的原信息没有删除。如果用show parttions table_name 这些分区信息还在，需要把这些分区原信息清除。

后来我想看看MSCK REPAIR TABLE这个命令能否删除已经不存在hdfs上的表分区信息，发现不行，我去jira查了下，发现Fix Version/s: 3.0.0, 2.4.0, 3.1.0 这几个版本的hive才支持这个功能。但由于我们的hive版本是1.1.0-cdh5.11.0， 这个方法无法使用。

总结

如果此篇文章有帮助到您, 希望打大佬们能关注、点赞、收藏、评论支持一波，非常感谢大家！
如果有不对的地方请指正!!!

转载1

lfwh
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive常用命令+日常
02-26
hive常用命令+日常
Hive常用命令之MSCK REPAIR TABLE命令概述
张之海的博客
05-24 5971
对于MSCK REPAIR TABLE命令，小编在工作中初见时，只有简单的理解——“刷新分区”。细究其原理便不得而知了。现在来将学习的内容记录一下。 首先，Hive能检测到的分区信息，存储在哪里？怎么新建分区才会存储在这个可（被Hive）检测位置上？怎么新建分区不会存储在这个可（被Hive）检测的位置上？MASK REAPRE TABLE有什么作用？ Hive能检测到的分区信息，存储在哪里？ 分区同database、table等一样，是Hive的元数据信息之一，存储在Derby、MySQL等数据库中。
Hadoop生态系统之Hive
Child2的博客
03-12 1281
本文将从Hive的大方向上及Hive细节使用这两个方向来阐述： 1、Hive是什么？hive在Hadoop生态系统中充当什么角色？为什么需要学习使用Hive 2、如何使用Hive及代码演示 一 宏观剖析 1 Hive是个啥？ 摘自百度百科 hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映...
初识hive（学习笔记）
weixin_69402201的博客
05-07 1712
什么是Hive 1） hive简介 Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 2） Hive本质：将HQL转化成MapReduce程序。 Hive架构原理 驱动器：Driver （1）解析器（SQL Parser）：语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。 （2）编译器（Physical Plan）：编译生成逻辑执行计划。 （3）优化
大数据技术之Hive 第7章 分区表和分桶表（优化）
牛牛
06-08 394
分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。1）引入分区表（需要根据日期对日志进行管理, 通过部门信息模拟） 2）创建分区表语法 注意：分区字段不能是表中已经存在的数据，可以将分区字段看作表的伪列。3）加载数据到分区表中（1） 数据准备 （2） 加载数据 注意：分区表加载数据时，必须指定分区4）查询
Hive常用命令
01-07
在启动Hive之前，必须先启动hdfs和yarn $ sbin/start-dfs.sh ...hive> create table student(id int, name string); 显示数据库中有几张表 hive> show tables; 查看表的结构 hive> desc student; 向表中插入数据 hive>
hive常见命令
01-20
hive常用命令 1、进入hive数据库：hive 2、查看hive中的所有数据库：show databases; 3、用default数据库：use default; 4、查看所有的表：show tables; 5、查询表结构：desc mytest（表名）; 6、查询表数据： ...
hive-shell批量命令执行脚本的实现方法
09-15
今天小编就为大家分享一篇hive-shell批量命令执行脚本的实现方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
五、Listen
Alyson_jm的博客
05-21 216
创建一个新的 Customer 对象: com.test.Customer@517b372b, time: Tue Apr 21 12:27:47 CST 2020, 并放入到 session 中。HttpSessionBindingListener:监听实现了该接口的 Java 类的对象被绑定到 session 或从 session 中解除绑定的事件。从执行结果来看，首先调用的方法是绑定到Session,然后关闭浏览器，调用sessionWillPassivate方法，最后解除绑定.从内存中写到磁盘上…
【Hive SQL 每日一题】统计最近7天内连续下单3日的用户量
JIE的博客 --- moon_coder
05-18 581
通过上面的规律可以发现，如果日期是连续的，那么当它们减去一串顺序的数字后，得到的结果是一致的，我们可以利用这一规则，判断日期是否连续。在这个需求中，并不关心用户购买了多少商品，在意的是用户是否进行了下单，同天下单多次的用户也只算作一次。日内满足多次该条件，但是在这个需求中，每个用户只能算一次，所以还需要去重才能得到最终结果。其实很简单，我们可以通过开窗的方式，计算日期是否连续，我这里是通过打标记来实现的。那么现在来说说这个需求是如何实现的，通过如下。现在得到的结果并不是最终的结果，因为某个用户（
计算机毕业设计PyFlink+Spark+Hive民宿推荐系统 酒店推荐系统 民宿酒店数据分析可视化大屏 民宿爬虫 民宿大数据 知识图谱 机器学习
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
05-19 780
计算机毕业设计PyFlink+Spark+Hive民宿推荐系统 酒店推荐系统 民宿酒店数据分析可视化大屏 民宿爬虫 民宿大数据 知识图谱 机器学习
Hive的字符串操作
早拾碗吧的博客
05-17 303
【代码】Hive的字符串操作。
Hive的小文件处理
早拾碗吧的博客
05-21 594
Hive的小文件处理。
Hive实战（使用30w条聊天数据构建分析报表 ，附加BUG解决）
qq_54828577的博客
05-17 660
hadoop+hive实例 使用jps检查各组件启动情况查看10000端口号是否被监听 下载安装后打开点击编辑驱动设置，删除原有的驱动，换成自己的驱动确认后进行连接测试1.检查metastore和hiveserver2是否打开，查看10000端口号是否被监听。否，重复1.1步骤2.打开windows终端，ping linux ip 地址能否 ping 通。
大数据Hadoop之-工具HIVE(一)
天道酬勤
05-21 290
日常工作中数据倾斜主要发生在Reduce阶段，而很少发生在 Map阶段，其原因是Map端的数据倾斜一般是由于HDFS数据存储不均匀造成的（公司的日志存储几乎都是均匀分块存储，每个文件大小基本固定），而Reduce阶段的数据倾斜几乎都是因为分析师没有考虑到某种key值数据量偏多的情况而导致的。分桶表会将指定列的值进行哈希散列，并对 bucket（桶数量）取余，然后存储到对应的 bucket（桶）中(Hive 中的分桶概念和 Java 数据结构中的 HashMap 的分桶概念是一致的。
hive启动--客户端连接报错
很开心你能来~
05-18 244
hive启动--客户端连接报错
【Hive SQL 每日一题】分组排名取值
最新发布
JIE的博客 --- moon_coder
05-21 230
然后，利用窗口函数对日期差值进行降序排序，取排名为。近的商品销售记录，只需要改变排序的过滤条件即可。那么距今第二近的销售记录显然是第二条，也就是在。首先，计算出每条销售记录距今的销售日期差值；先使用开窗获取销售记录最近以及最远日期；那么明白了需求，想想该如何去实现呢？近的商品销售记录，还可以获取第。通过排名过滤获取最高的销售记录。的数据，这样就能得到结果啦。使用该方法不仅能获取到距今第。利用窗口函数分组降序排列；通过日期过滤获取最终结果。此外没有其它销售记录。
MSCK REPAIR TABLE
06-01
`MSCK REPAIR TABLE` 是 Hive 中的一个命令，用于修复外部表中的分区，以便可以查询到这些分区中的数据。如果使用`ALTER TABLE`命令添加了分区，但是这些分区并没有出现在表中，那么可以使用`MSCK REPAIR TABLE`命令来将这些分区添加到表中。 例如，如果您有一个名为`mytable`的外部表，它的分区存储在`/data/mytable`目录下，那么可以使用以下命令来修复该表的分区： ``` MSCK REPAIR TABLE mytable; ``` 执行这个命令后，Hive 会扫描`/data/mytable`目录下的所有子目录，并将其中的分区添加到表中。如果您使用的是分布式存储系统，比如 HDFS，那么 Hive 会自动扫描整个文件系统来查找表的分区。 需要注意的是，`MSCK REPAIR TABLE` 命令只能修复外部表的分区，不能修复托管表的分区。如果您的表是托管表，需要使用`ALTER TABLE`命令来添加分区。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值