直接将hdfs 加到hive表分区 通过msck

最新推荐文章于 2022-02-26 12:00:17 发布
最新推荐文章于 2022-02-26 12:00:17 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： 数据分析 文章标签： hive hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40244593/article/details/83182727
版权

/home/user_image/hadoop-2.7.2/bin/hadoop fs -mkdir hdfs://cluster/user/hive/warehouse/dm_userimage.db/f_userimage_messageinfo/etl_date=$yesterday

/home/user_image/hadoop-2.7.2/bin/hadoop fs -cp /NS2/dm_research/f_hyd_message_modify_mix_final/*  hdfs://cluster/user/hive/warehouse/dm_userimage.db/f_userimage_messageinfo/etl_date=$yesterday

/home/user_image/hive-2.0.0/bin/hive<<EOF

set mapreduce.job.queuename=root.big_slow;
msck repair table dm_userimage.f_userimage_messageinfo;

EOF
exit

qingyu24
关注
专栏目录
Hive修复分区或修复表 以及msck命令的使用
击水三千里的专栏
02-14 1367
hive里有数据，MySQL数据库坏了，导致hive元数据信息丢失，但是hdfs上hive表的数据并没有丢失。可以使用msck repair table xxxxx命令修复！
Hive的分区表
01-20
Hive分区表对应的是HDFS上独立的文件夹，该文件夹存放的是该分区的所有数据，其实分区就是分目录。Hive通过分区把一个大的数据集根据业务需要分割成小的数据集，在查询时能够通过where关键词选择指定分区，从而提高...
HIVE常用命令之MSCK REPAIR TABLE
newchitu的博客
08-05 3429
目录 MSCK REPAIR TABLE 命令是做啥的 例子 后续 MSCK REPAIR TABLE 命令是做啥的 MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。 我们知道hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据库名，表名或者表...
将hdfs文件加入hive分区表中
qq_41123269的博客
01-07 2446
先把文件放入hdfs,或用flume采集到hdfs,参看另一篇，再把hdfs文件加载到hive表中 alter table ods_nshop.ods_01_releasedatas add partition (bdp_day='20191215') location 'hdfs://hadoop01:9000/data/nshop/ods/release/bdp_day=20191215' ...
数仓工具—Hive进阶之MSCK(14)
热门推荐
02-26 5万+
MSCK MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。 我们知道hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据库名，表名或者表的分区等等信息。如果不是通过hive的insert等插入语句，很多分区信息在metastore中是没有的。 MSCK命令 Hive stores a list of partitions for each table in its met
hive的msck repair命令
王义凯 的博客
11-01 1万+
msck repair table tablename 修复表分区，常用于手动复制目录到hive表的location下，此时Hive元数据中没有记录到该目录是hive的分区，所以查不到该分区数据。 例子： 表test_tbl，存储路径为/user/hive/warehouse/test_tbl，分区字段为pt，正常添加分区是这样的： alter table add if not exist...
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive）
05-29
在本主题中，我们将深入探讨 Sqoop 的导入功能，特别是如何将数据从 MySQL 和 Sybase 数据库导入到 HDFS，并进一步加载到 Hive 表中。 ### 一、Sqoop 导入介绍 1. **语法结构**： Sqoop 导入数据的基本语法如下：...
hdfs开启高可用+hive报错
最新发布
02-29
- 修改前后的对比示例：将`hdfs://master01:8020/user/hive/warehouse/table_name`修改为`hdfs://ha-cluster/user/hive/warehouse/table_name`。 2. **更新Hive的Catalog地址**： - 类似地，Hive还维护了一个名为...
修改hive表分区名称
02-17
本文将详细介绍如何通过一系列步骤完成Hive表分区名称的修改。 #### 一、准备工作 在进行Hive表分区名称修改之前，需要先做一些准备工作： 1. **查看表结构**：使用`SHOW CREATE TABLE test;`命令查看表`test`的...
hive-将数据直接复制到hive的hdfs上然后通过msck repair table tn来导入数据和分区
DCHAO的博客
06-13 715
一、创建外部表 1. partitioned by (etl_date string)必须放在列名括号之后 2. location '/user/hive/dctest/test222'必须放在最后 create external table test222 (id int,name string) partitioned by (etl_date string) row format delimited fields terminated by '|' partitioned by (etl_da
hive 分区表msck命令
yzgyjyw的博客
06-13 8987
当我们创建好一个分区表的时候：CREATE external TABLE IF NOT EXISTS db01.employees( name STRING COMMENT 'Employee name', salary FLOAT COMMENT 'Employee salary') partitioned by (country string) ROW FORMAT DELIMITED FIE
Hive分区
hyj
03-19 7817
Hive分区应用实战
将hdfs文件加载到hive分区表
lislie_的博客
01-11 5652
shell脚本如下： 如果目标表有分区，先清除分区 alter table table_name drop partition (dt &gt;= ‘20181211’); #!/bin/bash cu_date=`date +%Y%m%d` begin_date="20181211" while [ "$begin_date" -le "$cu_date" ]; do echo "${b...
[Hive]使用HDFS目录数据创建Hive表分区
个人技术博客
12-22 8864
Hive使用HDFS目录数据创建Hive表分区
[Hive]使用HDFS文件夹数据创建Hive表分区
weixin_34273046的博客
12-27 587
描写叙述： Hive表pms.cross_sale_path建立以日期作为分区，将hdfs文件夹/user/pms/workspace/ouyangyewei/testUsertrack/job1Output/crossSale上的数据，写入该表的$yesterday分区上 表结构： hive -e " set mapred.job.queue.name=pms; drop tab...
Hive建Hdfs外部分区表
BabyFish13
04-12 4251
1、目录及数据准备 hadoop dfs -rmr /tmp/oss_access_test/2017-04-01 hadoop dfs -mkdir -p /tmp/oss_access_test/2017-04-01/ hadoop dfs -cp /tmp/oss_access/2017-04-01/sz-98-72_localhost_access_log.2017-04-01.*.tx
hdfs数据直接存分区
青鱼的博客
10-12 1775
load data inpath '/user/yjy_research/zhangyd/phonelist_result/2017-01-01' overwrite into table f_userimage_phonelist partition(etl_date='2017-01-01');
在hive中创建分区表,再关联到hdfs有关位置,而不需导入数据到hive表
宝罗Paul 的博客
10-20 9903
【需求】有时候我们不想导入数据到hive中，而是通过在hive中创建关联表的方式查询hdfs上的数据，之后就能通过hive客户端或者spark应用程序获取hive的数据了。【原理】由于在hdfs中已存入了我们提前整理好的结构化数据(例如每条记录都是以逗号分隔)，那么在hive中建一个相同结构的表，再把此表关联到相应的hdfs目录就可以了。下面一个小案例讲一下我的经验。步骤——步骤一：在hive中创...
hive分区表加了新字段后,向历史分区插数据识别不到新字段
05-26
对于 Hive 分区表，如果你在表结构中新增了一个字段，那么对于已经存在的历史分区，这个新字段是不会被自动识别的。这是因为 Hive 在创建分区表时，会将分区信息存储在 metadata 中，而这些 metadata 是不会随着表结构的变化而自动更新的。 如果你想要查询或者更新历史分区数据时能够识别到这个新字段，需要手动更新 metadata。具体来说，可以通过以下两种方式实现： 1. 使用 `MSCK REPAIR TABLE` 命令，该命令可以检查分区目录，将分区信息更新到 metadata 中。执行该命令时，Hive 会扫描表对应的 HDFS 目录，并将其中的所有分区信息添加到 metadata 中。 例如，如果你的分区表定义如下： ``` CREATE TABLE example ( id INT, name STRING ) PARTITIONED BY (dt STRING, country STRING); ``` 然后你新增了一个字段 `age INT`，那么你可以使用以下命令更新 metadata： ``` MSCK REPAIR TABLE example; ``` 2. 手动添加分区信息到 metadata 中。如果你只需要更新某个特定分区的 metadata，可以使用以下命令手动添加分区信息到 metadata 中： ``` ALTER TABLE example ADD PARTITION (dt='20211010', country='CN') LOCATION '/path/to/partition'； ``` 执行该命令后，分区目录会被添加到 metadata 中，然后你就可以使用新字段查询和更新该分区数据了。 总之，无论是使用 `MSCK REPAIR TABLE` 还是手动添加分区信息，都需要注意及时更新 metadata，以便能够正常查询和更新历史分区数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值