使用MSCK命令修复Hive表分区

最新推荐文章于 2021-11-22 16:36:10 发布
最新推荐文章于 2021-11-22 16:36:10 发布
阅读量121 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/maxiaoji/article/details/106226806
版权 
#当前没有partition元信息
hive> show partitions cr_cdma_bsi_mscktest;
OK
Time taken: 0.104 seconds


#创建两个分区目录
hive> dfs -mkdir /user/hive/warehouse/cr_cdma_bsi_mscktest/month=201603;
hive> dfs -mkdir /user/hive/warehouse/cr_cdma_bsi_mscktest/month=201604;


#使用MSCK修复分区
hive> msck repair table cr_cdma_bsi_mscktest;
OK
Partitions not in metastore:    cr_cdma_bsi_mscktest:month=201603
Partitions not in metastore:    cr_cdma_bsi_mscktest:month=201604
Repair: Added partition to metastore cr_cdma_bsi_mscktest:month=201603
Repair: Added partition to metastore cr_cdma_bsi_mscktest:month=201604
Time taken: 0.286 seconds, Fetched: 2 row(s)



#再次查看，发现已经成功更新元信息
hive> show partitions cr_cdma_bsi_mscktest;
OK
month=201603
month=201604
Time taken: 0.102 seconds, Fetched: 1 row(s)
马小纪
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Msck_RCNN代码
07-16
MaskRCNN代码，可以正常使用。可使用mask_rcnn_coco.h5预训练的结果直接测试。
Hive分区修复命令MSCK使用1
BabyFish13
01-26 3281
场景： 如果事先建立了一张分区表，然后手动（比如使用 cp 或者 mv ）将分区数据拷贝到刚刚新建的表进行数据初始化；但是对于分区表，需要在hive里面手动将刚刚初始化的数据分区加入到hive里面，这样才能够查询使用。通常的做法是使用 alter table add partition命令手动添加分区；但是如果初始化的分区太多，这样一条一条地手动添加分区不免过于麻烦（虽然可以写个脚本生成添加分区
hive表删除分区后，重新插入，查询不到数据问题
雾岛与鲸的博客
07-30 2888
1、选择一张分区表（本次取的是内部表），把分区数据取到本地。 [root@hadoop001 hiveData]# hadoop fs -get /user/hive/warehouse/emp_dept_partition/deptno=30/000000_0 emp_dept_partition-deptno30 [root@hadoop001 hiveData]# ls dept emp_dept_partition-deptno30 emp.txt 2、删除该分区 hive> ALTER
hive分区表
qq_35094452的博客
08-02 572
hive分区表的几种方法 Hive表的分区就是一个目录，分区字段不和表的字段重复 创建分区表： create table tb_partition(id string, name string) PARTITIONED BY (month string) row format delimited fields terminated by '\t'; 加载数据到hive分区表中 ...
数据库设计
02-20
数据库设计
Hive 修复分区 MSCK REPAIR TABLE
大数据技术分享
11-07 1万+
转载自：润土1030 MSCK REPAIR TABLE 命令是做啥的 MSCK REPAIR TABLE命令主要是用来： 解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。 我们知道hive有个服务叫metastore， 这个服务主要是存储一些元数据信息， 比如数据库名，表名或者表的分区等等信息。 如果不是通过hive的...
Hive静态分区表&动态分区表
weixin_33854644的博客
11-20 955
静态分区表： 一级分区表： CREATE TABLE order_created_partition ( orderNumber STRING , event_time STRING ) PARTITIONED BY (event_month string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; 加载数...
Hive，添加分区、删除分区、显示分区，msck修复分区
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
02-15 2万+
往table1中新增c1,c2,c3,c4字段，跑完数据后，还需要刷分区（删除原来的分区，再添加分区） --跑完数据后，没有刷分区的话，新的字段的数据查不到 hive> select > c1 > ,c2 > ,c3 > ,c4 > from table1 > where dt='2019-02-12' ...
Hive基础之分区表
iqifenxia的博客
11-02 4731
QQ购买平台
Hive 修复分区 msck repair table
大数据同盟会的博客
11-22 8280
Hive 修复分区 msck repair tableHive 修复分区 msck repair tableHive 修复分区 msck repair tableHive 修复分区 msck repair table
Hive分区修复命令MSCK介绍与使用
赶路人儿
12-07 2721
我们在使用Hive的时候肯定遇到过建立了一张分区表，然后手动（比如使用 cp 或者 mv ）将分区数据拷贝到刚刚新建的表作为数据初始化的手段；但是对于分区表我们需要在hive里面手动将刚刚初始化的数据分区加入到hive里面，这样才能供我们查询使用，我们一般会想到使用 alter table add partition 命令手动添加分区，但是如果初始化的分区太多，这样一条一条地手动添加分区不免过于麻
Hive 查看partition 以及msck 修复分区
07-23 625
# check table 的 partition hive> show partitions table_name ; 如果是外部表 ，不小心把表给删除了 ，可以适用下命令重新关联表和数据 [MSCK REPAIR TABLE] 全量修复分区 hive> msck repair table table_name; ...
Hive学习之修改表、分区、列
热门推荐
skyWalker_ONLY
06-12 4万+
修改表/分区/列 修改表的语句允许改变现有表的结构，通过该语句可以增加列/分区，修改SerDe，增加表和SerDe的属性或者重命名表。与之类似，修改分区的语句可以改变指定分区的属性。 重命名表 重命名表的语句如下： ALTER TABLE table_name RENAME TOnew_table_name 修改表属性 修改表属性的语句如下： ALTER TABLE table_na
一起学Hive——使用MSCK命令修复Hive分区
weixin_30685047的博客
10-12 257
最近在使用Hive的过程中，在备份数据时，经常会使用cp或mv命令来拷贝数据，将数据拷贝到我们新建备份表的目录下面，如果不是分区表，则上面的操作之后，新建的备份表可以正常使用，但是如果是分区表的，一般都是使用alter table add partition命令将分区信息添加到新建的表中，每添加一条分区信息就执行一个alter table add partition命令，如果分区数量少还...
HIVE常用命令之MSCK REPAIR TABLE
newchitu的博客
08-05 3335
目录 MSCK REPAIR TABLE 命令是做啥的 例子 后续 MSCK REPAIR TABLE 命令是做啥的 MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。 我们知道hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据库名，表名或者表...
HQL MSCK 分区修复命令
最新发布
06-07
HQL 的 MSCK 命令用于修复 Hive 表的分区，其语法如下： ``` MSCK REPAIR TABLE table_name; ``` 其中，table_name 是需要修复分区的表名。该命令会扫描 Hive 表的所有分区，并检查是否存在分区丢失或者新增的情况...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值