近期开发的项目是一个基金管理的项目,由于交易数据比较大,为了提高响应速度,在数据访问层增加了缓存机制。但是,随着系统运行了一段时间,由于缓存加载的数据量扩大,系统内存占用越来越高。为了减轻系统压力,需要增加归档功能,即通过归档操作,将数据库里面符合特定条件(如:交易完成)的数据进行清理。但是,由于基金交易数据的特殊性,这些被清理的数据仍需要保存,而且必要的情况下还要支持数据的恢复。这篇文章就是这个功能开发完成的产物。
最开始,由于dump文件格式的不确定,加上要用Java代码生成,我们考虑生成dump文件的内容为需要归档的数据的insert语句。首先,我们通过需要归档的表名,查询user_tab_columns可以拿到该表的所有列信息(主要是列名和数据类型),然后根据表名和列信息拼成insert语句,最后加上归档条件。根据该思路,我们有了下面的代码。
package com.code.dump;
import java.io.File;
import java.nio.ByteBuffer;
import java.nio.channels.FileChannel;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.nio.file.StandardOpenOption;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
public class DumpFile {
/** 数据库连接参数 */
static final String DB_HOST = "127.0.0.1:1526";
static final String DB_SID = "orcl";
static final String DB_USER = "admin";
static final String DB_PWD = "pwd";
static final String TABLE_NAME = "NODE";
/** 拼接的sql每行字符数,超过ROW_CHAR_COUNT就换行,防止sql过长 */
static final int ROW_CHAR_COUNT = 1000;
/** dump文件保存路径 */
static final String DUMP_FILE_PATH = "./dump_file";
static Connection connection = null;
public static void main(String[] args) {
try {
long start = System.currentTimeMillis();
String sql = generateInsertSql();
generateDumpFileByFile(sql);
System.out.println("---------------------------\n"+"all cost time is " + (System.currentTimeMillis() - start) + " ms"+"\n-----------------------------\n");
} catch (Exception e) {
e.printStackTrace();
} finally {
if (connection != null) {
try {
connection.close();
} catch (SQLException e) {
e.printStackTrace();
}
}
}
}
/** 生成使用的sql语句 */
static String generateInsertSql() throws Exception {
// 存储需要备份的表的列的信息(column_name,data_type)
List<ColumnInfo> cols = new ArrayList<ColumnInfo>();
// 创建oracle数据库连接
Class.forName("oracle.jdbc.driver.OracleDriver");
connection = DriverManager.getConnection("jdbc:oracle:thin:@" + DB_HOST + ":" + DB_SID, DB_USER, DB_PWD);
Statement sql = connection.createStatement();
// 查询需备份表的所有列信息
ResultSet columns = sql.executeQ