dataworks删除大量从hive拉过来的临时表

小涛手记

已于 2023-06-01 11:59:57 修改

阅读量424

点赞数 1

文章标签： hive hadoop 大数据

于 2022-12-15 12:32:44 首次发布

本文链接：https://blog.csdn.net/weixin_47699191/article/details/128328124

版权

这些表是通过taskManagement 误操作拉取了大量hive数仓tmp库中无用的表
在这里插入图片描述
现在需要删除dataworks中这些无用的表，大概有20000多个，拉到dataworks中大概2000多个表
写一个删除语句删一个表，太难受了，啥时候才能删完！

在hive中查看表信息找到这个表在hdfs中存储的路径
、c.png
hdfs文件路径
在这里插入图片描述

然后写java程序获取目录下的所有文件夹名称，再处理成删除表语句

package data_market;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
import java.net.URI;

/**
 * 获取hdfs上某个目录下的所有文件夹名称，转化成删除表语句写入本地文本
 */
public class HDFSApp {
    public static void main(String[] args) throws Exception {

        Configuration configuration = new Configuration();
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://xxx.cluste:8020"), configuration, "xxx");
        FileStatus[] statuses = fileSystem.listStatus(new Path("/tmp/excel/hive/"));
        FileWriter writer = new FileWriter("/Users/edy/IdeaProjects/ks_bdp_data_process/data_process_spark/src/test/java/data_market/wxt.txt");

        for(FileStatus file : statuses) {
            String path = file.getPath().toString();
            String[] split = path.split("hdfs://xxx-1.cluste:8020/tmp/excel/hive/tmp.");
            String sql = "drop table if exists kaishu_bigdata_dev." + split[1] + ";";

            try {
                writer.write(sql+"\r\n");
                writer.flush();
               // writer.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }

}