HIVE外部表删除重建指定HDFS目录后查询不到数据

最新推荐文章于 2024-05-14 08:20:09 发布
最新推荐文章于 2024-05-14 08:20:09 发布
阅读量4.1k 收藏 6
点赞数 2
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010184335/article/details/106280400
版权

HIVE外部表删除重建指定HDFS目录后查询不到数据，怎么办

  • 删除了外部表，没有删除hdfs文件
  • 重建了外部表又关联到之前的hdfs目录之后，select查询却没有数据
  • 需要MSCK REPAIR TABLE+tablename，之后查询，数据就回来了。

MSCK REPAIR TABLE命令是做啥的

MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。

hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据库名，表名或者表的分区等等信息。如果不是通过hive的insert等插入语句，很多分区信息在metastore中是没有的。只需要运行MSCK REPAIR TABLE命令，hive就会去检测这个表在hdfs上的文件，把没有写入metastore的分区信息写入metastore。

科技改变未来
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
DataX数据的迁移（MySQL、HDFS，Hive）
04-12
1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者...
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive）
05-29
在导入到 HDFS 后，我们通常会进一步将数据加载到 Hive 表中。 Sqoop 可以直接创建 Hive 表并导入数据： ```bash # 创建 Hive 表 sqoop create-hive-table --table my_hive_table --fields-terminated-by ',' --...
Hive内部表和外部表
01-07
一：内部表和外部表的区别 创建表时使用关键字external创建的表就是外部表，没有使用该关键字创建的表就是内部表。 删除表时(drop table)内部表会删除hdfs对应路径，而外部表不会删除hdfs对应的路径, 删除表无论是内部表和外部表都会删除元数据(metastore.TBLS、metastore.COLUMNS_V2) 二：location关键字 用于指定hdfs路径，如果不指定则使用默认的路径，默认路径规则为//.db/，location既可以用于内部表也可以用于外部表。 hive-site.xml hive.metastore.warehouse.dir /d
hive 删除原外部表，新建一样新表，同步原分区元数据的命令方法：msck repair table 表名
qq_43224174的博客
03-10 2236
hive删除原外部表，新建一样新表，同步元数据的命令方法：msck repair table 表名
解决datax写入hdfs到hive查不到数据
最新发布
大模型大数据攻城狮的专栏
05-14 431
命令可以查看到文件，但是在Hive中查询数据为空。atax写入到Hive表的过程中。datax日志显示成功，使用。把上面的表修改为非分区表，再次写入时果然有数据了。
分区表无法查询手动put进hdfs的数据问题
men子烦高的烂笔头
12-11 3383
向hive表对应hdfs中新建目录，put数据后，在hive命令行查询，查不到put进分区的数据，下面记录处理方法： 分区既然是HDFS目录，那就可以通过hdfs put命令直接向HDFS添加分区。然而，元存储拥有所有表的元数据，它不会自动识别这些直接被添加到HDFS的分区。Hive提供了命令MSCK REPAIR TABLE tableName;，可以自动地更新元存储来恢复分区。如果基
Hive中分区表及陷阱
weixin_33805557的博客
03-06 982
Hive中分区表及陷阱 分区表 分区表实际就是对应hdfs文件系统上的的独立的文件夹，该文件是夹下是该分区所有数据文件。 分区可以理解为分类，通过分类把不同类型的数据放到不同的目录下。 分类的标准就是分区字段，可以一个，也可以多个。 分区表的意义在于优化查询。查询时尽量利用分区字段。如果不使用分区字段，就会全部扫描。 在查询是通过where子句查询来...
hive 外部表删除恢复数据
海边看花开的博客
10-07 830
需要执行下面语句，修复分区即可 MSCK REPAIR TABLE table_name; 可以看到，原来查询没有数据，执行MSCK REPAIR TABLE table_name; 在次查询有数据了
Hive管理表和外部表的区别
01-07
关于Hive数据仓库的管理表（MANAGED_TABLE）和外部表（EXTERNAL_TABLE）的区别，在创表的时候，如果不指定，则默认创建管理表。如果不知道此表是什么类型的表的话，可以在hive的命令行里打desc formatted table_name...
Binlog2Hive:MySQL增量数据实时同步到HDFSHive
04-29
项目背景RDS的数据实时同步到HDFS下，并映射到Hive原理通过解析RDS的binlog将RDS的增量数据同步到HDFS下，并映射加载到Hive外部分区表由于RDS表中的第二个字段都为datetime字段，所以刚才以该字段作为Hive的分区字段...
Hive 创建数据库（以及指定存放位置）
CharlesCFA的博客
02-18 9709
语句： CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, ...)]; 1.创建一个数据库，数据库在 HDFS 上的默认存储路径是/user/hive/warehouse/*.db hive (default)> create database db_hive;
大数据---27.Hive的数据库和表的基本操作；脚本化运行；内部表；外部表；分区表
u014579001的博客
06-10 2138
Hive的数据库和表的基本操作；脚本化运行；内部表；外部表；分区表
hive删除表后重新创建时提示表已存在并且卡死
硅谷工具人
09-08 1010
SQL 错误 [1] [08S01]: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.iceberg.exceptions.AlreadyExistsException: Table w...
hive中表与数据的关系
sinat_26566137的博客
08-08 913
目录1、问题背景2、Hive表与内部数据的映射关系3、内部表与外部表的关系4、参考 1、问题背景 下面的hive sql语句实现了什么功能？ alter table test1 location '/xxx/xxx/xxx/file.txt' 修改表？创建表？修改文件？hive中表与文件是什么关系？ 不要被alter table这个名称所误导，在hive中，表与文件是存在映射关系的，也就是说，刚开始我们创建表的时候，表里面并不会存在任何数据，只是我们通过location将表与文件进行映射关联起来后才有数据
安装Hive时出现无法访问数据库错误
u013982921的专栏
07-08 3185
重新安装了一下hive,在连接远程的mysql数据库时，出现无法连接远程数据库，错误如下：于是上网百度了一下出现这种错误原因一般是hive-site.xml配置文件中，数据库的配置，用户名或密码输入不正确，还有就是远程访问mysql数据库时，没有给数据库授权，经过排查，hive-site.xml配置文件没有错，于是定位到是数据库授权的问题，进入数据库执行了一下几句授权命令：1、授权设置用户root...
windows下spark访问本地hive，建表后加载数据显示拒绝访问
jmzhhh的博客
03-07 280
加载到spark-warehouse的数据拒绝访问，该问题主要是win系统下的文件权限默认是当前用户，并非管理员
hive建表
可乐大牛的博客
02-01 1580
Table 的创建过程和数据加载过程（这两个过程可以在同一个语句中完成），在加载数据的过程中，实际数据会被移动到数据仓库目录中；之后对数据对访问将会直接在数据仓库目录中完成。删除表时，表中的数据和元数据将会被同时删除。 External Table 只有一个过程，加载数据和创建表同时完成（CREATE EXTERNAL TABLE ……LOCATION），实际数据是存储在 LOCATION 后面指定的 HDFS 路径中，并不会移动到数据仓库目录中。若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变
Hive如何drop删除外部表，如何恢复表中数据
CZXY18ji的博客
12-25 2071
1.创建以前的表结构 2.恢复数据：MSCK REPAIR TABLE networkqualityinfo;H
spark如何正确的删除hive外部表【删除表时同时删除hdfs上的数据】？
06-28
### 回答1： 要正确删除Hive外部表并同时删除HDFS上的数据，可以使用以下步骤： 1. 在Hive中使用DROP TABLE语句删除外部表，例如： ``` DROP TABLE my_external_table; ``` 2. 确认表已被删除，可以使用SHOW TABLES语句检查： ``` SHOW TABLES; ``` 3. 在HDFS上删除表的数据，可以使用以下命令： ``` hadoop fs -rm -r /path/to/table/data ``` 其中，/path/to/table/data是外部表数据存储的HDFS路径。 4. 确认数据已被删除，可以使用以下命令： ``` hadoop fs -ls /path/to/table/data ``` 如果输出为空，则表示数据已被成功删除。 注意：删除外部表时，只会删除Hive元数据，不会删除HDFS上的数据。因此，需要手动删除HDFS上的数据以释放存储空间。 ### 回答2： 在Spark中删除Hive外部表时，我们需要确保同时删除HDFS上的相关数据。在这里，我们提供如下的几种方法，可以帮助您正确删除Hive外部表。 一、使用Hive Shell 1. 确保您已经连接到了Hive Shell，并且设置了正确的Hadoop和Hive环境变量。 2. 在Hive Shell中，输入命令“DROP TABLE IF EXISTS external_table_name;”，以删除指定的外部表。 3. 输入命令“!hadoop fs -rm -r /path/to/external_table_name;”，以删除HDFS上的相关数据。请注意，这里的“/path/to/external_table_name”需要替换为您实际使用的HDFS路径。 二、使用Scala代码 1. 在Spark中创建一个HiveContext对象，用于与Hive进行交互。 ``` val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc) ``` 2. 使用HiveContext对象，执行SQL语句删除指定的外部表以及相关数据。 ``` hiveContext.sql("DROP TABLE IF EXISTS external_table_name") import org.apache.hadoop.fs.FileSystem import org.apache.hadoop.fs.Path val fs = FileSystem.get(sc.hadoopConfiguration) fs.delete(new Path("/path/to/external_table_name"), true) ``` 请注意，这里的“/path/to/external_table_name”需要替换为您实际使用的HDFS路径。 三、使用Python代码 1. 在Spark中创建一个HiveContext对象，用于与Hive进行交互。 ``` from pyspark.sql import HiveContext hiveContext = HiveContext(sc) ``` 2. 使用HiveContext对象，执行SQL语句删除指定的外部表以及相关数据。 ``` hiveContext.sql("DROP TABLE IF EXISTS external_table_name") import subprocess subprocess.call(["hadoop", "fs", "-rm", "-r", "/path/to/external_table_name"]) ``` 请注意，这里的“/path/to/external_table_name”需要替换为您实际使用的HDFS路径。 总结 以上三种方法均可以帮助您正确地删除Hive外部表，并同时删除HDFS上的相关数据。根据您的实际情况和个人喜好，可以选择使用其中的任一种方法。 ### 回答3： Spark是一个开源的大数据处理框架，它可以与Hive集成，来进行数据处理和查询。在使用Spark进行Hive外部表操作时，如果需要删除表时同时删除HDFS上的数据，可以按照以下步骤进行： 1. 使用Spark的HiveContext来获取要删除的表的元数据，例如： ``` val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc) val tableMetadata = hiveContext.table("database.table").toDF ``` 2. 从元数据中获取表的路径，例如： ``` val tablePath = tableMetadata.select("location").collect()(0)(0).toString ``` 3. 使用Hadoop File System(HDFS)的API来删除表的路径，例如： ``` import org.apache.hadoop.fs.FileSystem import org.apache.hadoop.fs.Path val hdfs = FileSystem.get(sc.hadoopConfiguration) hdfs.delete(new Path(tablePath), true) ``` 4. 使用Spark的SQLContext来删除表，例如： ``` val sqlContext = new org.apache.spark.sql.SQLContext(sc) sqlContext.sql("DROP TABLE database.table") ``` 通过以上步骤，即可正确地删除Hive外部表，并且同时删除HDFS上的数据。需要注意的是，在进行该操作前，请确保将删除操作纳入了数据管理的策略中，避免误删数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

科技改变未来

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值