JAVA -- 把一个大的sql文件分割成多个小sql文件

21 篇文章 0 订阅
4 篇文章 0 订阅

背景:

        今天从生产环境中导出了一些表的所有数据,想复制到测试环境,但是发现这个导出sql文件大小为280M,太大了,编辑工具或者数据库工具都打不开会卡死,于是想着,把这个大文件按不同的表数据分割成多个文件,再去执行语句

操作:

        首先找到分割的点,因为导出的数据库sql文件是按表顺序导出的,每个表都是按创表语句+insert语句去排的,以下面为例,前面是创表语句,后面接insert语句。

根据“DROP TABLE IF EXISTS `tablename`;”,去匹配DROP TABLE IF EXISTS 就能分割文件,按表名去分割这个大的sql文件

 

代码:

import java.io.*;

public class testMain {

    public static String IN_FLIE = "D:\\数据库\\生产数据库\\txyx.sql";
    public static String OUT_FLIE_PATH = "D:\\数据库\\生产数据库\\";
    public static String splitValue = "DROP TABLE IF EXISTS";

    public static void main(String[] args) throws IOException {
        //读取被分割的文件
        File file = new File(IN_FLIE);
        if (!file.exists() || (!file.isFile())) {
            System.out.println("文件不存在");
        }
        //用字符流读取文件内容
        BufferedReader bufferedReader = new BufferedReader(
                new InputStreamReader(new FileInputStream(file), "UTF-8"));
        String bufStrLine = null;
        Writer writer = null ;
        //一行一行读取
        while ((bufStrLine = bufferedReader.readLine()) != null) {
            //读到存在对应标识字符串
            if (bufStrLine.contains(splitValue)){
                //不为空,则把上一个文件输出流关闭
                if (writer != null){
                    writer.close();
                }
                //创建io输出流,通过分割改行数据获取文件名
                String fileName = OUT_FLIE_PATH+bufStrLine.split("`")[1]+".sql";
                writer = new FileWriter(fileName);
                System.out.println("创建文件"+fileName);
            }
            //写一行数据到输出文件
            if (writer != null){
                writer.write(bufStrLine+"\r\n");

            }
        }
        //关闭最后一个输出流
        if (writer != null){
            writer.close();
        }
        System.out.println("文件大小" + file.length());
    }
}

运行验证:

        

 

 

结果:

        成功分割,每个文件大小都50M前后,可以在数据库工具中正常执行

如果你需要切割超大的 SQL 文件,可以考虑使用 Java 编写一个程序来实现。下面是一个简单的代码示例,可以将一个大的 SQL 文件按照指定的行数分割多个文件: ```java import java.io.BufferedReader; import java.io.File; import java.io.FileReader; import java.io.FileWriter; import java.io.IOException; public class SQLSplitter { public static void main(String[] args) { String fileName = "large_sql_file.sql"; int linesPerFile = 100000; // 每个文件包含的行数 try (BufferedReader br = new BufferedReader(new FileReader(fileName))) { String line; int fileNumber = 1; int lineNumber = 0; File outputFile = new File("output" + fileNumber + ".sql"); FileWriter fw = new FileWriter(outputFile); while ((line = br.readLine()) != null) { fw.write(line + "\n"); lineNumber++; if (lineNumber >= linesPerFile) { fw.close(); fileNumber++; lineNumber = 0; outputFile = new File("output" + fileNumber + ".sql"); fw = new FileWriter(outputFile); } } fw.close(); } catch (IOException e) { e.printStackTrace(); } } } ``` 在上面的代码中,我们首先指定了要处理的大 SQL 文件的名称和每个输出文件包含的行数。然后,我们使用 BufferedReader 读取输入文件的每一行,并将其写入当前输出文件中。当输出文件的行数达到指定值时,我们关闭当前输出文件并创建一个新的输出文件。最后,我们关闭最后一个输出文件。 请注意,上述代码未考虑 SQL 语句跨行的情况。如果您的 SQL 文件包含跨行语句,请使用适当的逻辑来处理它们。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值