数据库数据的转换，从一张表转换到另一个表

最新推荐文章于 2022-06-07 00:18:07 发布
最新推荐文章于 2022-06-07 00:18:07 发布
阅读量403 收藏
点赞数
分类专栏： Java基础应用 文章标签： SQL Oracle J# thread JVM

1、没有使用数据库连接池（主要思想是分页查询、分批插入）

package util;

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;

public class BatchProcess {

	public static void batchInsert(int m, int n) {

		long start = System.currentTimeMillis();

		String insertSql = "INSERT INTO LIJING727_ORIGDATA(DATA0,DATA1,"
				+ "DATA2,DATA3,DATA4,DATA5,DATA6,DATA7,DATA8,DATA9) VALUES "
				+ "(?,?,?,?,?,?,?,?,?,?)";

		for (int i = 0; i < m; i++) {

			Connection conn = DbConnStatic.getConnection();

			try {

				PreparedStatement pstmt = conn.prepareStatement(insertSql);

				for (int j = 0; j < n; j++) {

					pstmt.setInt(1, i * n + j + 1);
					pstmt.setString(2, "test" + 2);
					pstmt.setString(3, "test" + 3);
					pstmt.setString(4, "test" + 4);
					pstmt.setString(5, "test" + 5);
					pstmt.setString(6, "test" + 6);
					pstmt.setString(7, "test" + 7);
					pstmt.setString(8, "test" + 8);
					pstmt.setString(9, "test" + 9);
					pstmt.setString(10, "test" + 10);

					pstmt.addBatch();

				}

				pstmt.executeBatch();
				pstmt.close();
				// conn.close();
				// DbConnection.freeConnection();

			} catch (SQLException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}

		}

		long end = System.currentTimeMillis();

		System.out
				.println("批量插入数据" + m + "*" + n + " 用时" + (end - start) / 1000f);

	}

	public static void deleteAllData() {

		long start = System.currentTimeMillis();

		Connection conn = DbConnStatic.getConnection();

		try {

			Statement stmt = conn.createStatement();

			String sql1 = "DELETE FROM LIJING727_ORIGDATA";
			//String sql2 = "DELETE FROM LIJING727_TEMPDATA";

			stmt.execute(sql1);
			//stmt.execute(sql2);

		} catch (SQLException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}

		long end = System.currentTimeMillis();

		System.out.println("批量删除所有数据 用时" + (end - start) / 1000f);

	}

	public static void transferData(int m, int n) {

		long start = System.currentTimeMillis();

		String insertSql = "INSERT INTO LIJING727_TEMPDATA(DATA0,DATA1,"
				+ "DATA2,DATA3,DATA4,DATA5,DATA6,DATA7,DATA8,DATA9) VALUES "
				+ "(?,?,?,?,?,?,?,?,?,?)";

		String selectSql = "SELECT * FROM (SELECT rownum r,a.* "
				+ "FROM LIJING727_ORIGDATA a WHERE rownum <= ?) WHERE r >= ?";
		
		for (int i = 0; i < m; i++) {

			Connection insertConn = new DbConn().getConnection();
			Connection selectConn = new DbConn().getConnection();

			try {

				PreparedStatement selectPstmt = selectConn.prepareStatement(selectSql);
				PreparedStatement insertPstmt = insertConn.prepareStatement(insertSql);
				
				selectPstmt.setInt(1, (i+1) * n);
				selectPstmt.setInt(2, i * n + 1);
				
				ResultSet rs = selectPstmt.executeQuery();
				
				while (rs.next()) {
					
					insertPstmt.setInt(1, rs.getInt(2));
					insertPstmt.setString(2, rs.getString(3));
					insertPstmt.setString(3, rs.getString(4));
					insertPstmt.setString(4, rs.getString(5));
					insertPstmt.setString(5, rs.getString(6));
					insertPstmt.setString(6, rs.getString(7));
					insertPstmt.setString(7, rs.getString(8));
					insertPstmt.setString(8, rs.getString(9));
					insertPstmt.setString(9, rs.getString(10));
					insertPstmt.setString(10, rs.getString(11));

					insertPstmt.addBatch();
					
				}

				insertPstmt.executeBatch();
				insertPstmt.close();
				selectPstmt.close();


			} catch (SQLException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}

		}

		long end = System.currentTimeMillis();

		System.out
				.println("批量转换" + m + "*" + n + " 用时" + (end - start) / 1000f);

	}

}

 

 

2、使用数据库连接池

package util;

import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

import oracle.jdbc.driver.OraclePreparedStatement;

public class MultiThreadProcess {

	public static void batchInsert(int m, int n) throws ClassNotFoundException,
			SQLException, InterruptedException {

		ExecutorService exec = Executors.newCachedThreadPool();

		DbPool dbPool = new DbPool();
		dbPool.createPool();

		long start = System.currentTimeMillis();

		for (int i = 0; i < m; i++) {

			exec.execute(new BatchInsertTask(dbPool, i, n, start));

			// Thread thread = new Thread(new BatchInsertTask(dbPool, i, n,
			// start));
			// thread.join(); // 线程挂接，当前线程阻塞，thread执行完后，主线程才能执行
			// exec.execute(thread);
			// thread.start();

		}

		exec.shutdown();

	}

	public static void batchTransfer(int m, int n)
			throws ClassNotFoundException, SQLException, InterruptedException {

		ExecutorService exec = Executors.newCachedThreadPool();

		DbPool dbPool = new DbPool();
		dbPool.createPool();

		long start = System.currentTimeMillis();

		for (int i = 0; i < m; i++) {

			exec.execute(new BatchTransferTask(dbPool, i, n, start));

		}

		exec.shutdown();

	}

}

class BatchInsertTask implements Runnable {

	DbPool dbPool;
	int threadNum = 0;
	int batchNum = 0;
	long start;

	BatchInsertTask(DbPool dbPool, int threadNum, int batchNum, long startTime) {

		this.dbPool = dbPool;
		this.threadNum = threadNum;
		this.batchNum = batchNum;
		start = startTime;
	}

	@Override
	public void run() {

		String insertSql = "INSERT INTO LIJING727_ORIGDATA(DATA0,DATA1,"
				+ "DATA2,DATA3,DATA4,DATA5,DATA6,DATA7,DATA8,DATA9) VALUES "
				+ "(?,?,?,?,?,?,?,?,?,?)";

		try {

			Connection conn = dbPool.getConnection();
			OraclePreparedStatement pstmt = (OraclePreparedStatement) conn
					.prepareStatement(insertSql);

			for (int j = 0; j < batchNum; j++) {

				pstmt.setInt(1, threadNum * batchNum + j + 1);
				pstmt.setString(2, "test" + 2);
				pstmt.setString(3, "test" + 3);
				pstmt.setString(4, "test" + 4);
				pstmt.setString(5, "test" + 5);
				pstmt.setString(6, "test" + 6);
				pstmt.setString(7, "test" + 7);
				pstmt.setString(8, "test" + 8);
				pstmt.setString(9, "test" + 9);
				pstmt.setString(10, "test" + 10);

				pstmt.addBatch();

			}

			pstmt.executeBatch();
			pstmt.close();
			dbPool.returnConnection(conn);

			long end = System.currentTimeMillis();

			System.out.println("批量插入数据用时" + (end - start) / 1000f);

		} catch (SQLException e) {

			e.printStackTrace();

		}

	}

}

class BatchTransferTask implements Runnable {

	DbPool dbPool;
	int threadNum = 0;
	int batchNum = 0;
	long start;

	BatchTransferTask(DbPool dbPool, int threadNum, int batchNum, long startTime) {

		this.dbPool = dbPool;
		this.threadNum = threadNum;
		this.batchNum = batchNum;
		start = startTime;
	}

	@Override
	public void run() {

		String insertSql = "INSERT INTO LIJING727_TEMPDATA(DATA0,DATA1,"
				+ "DATA2,DATA3,DATA4,DATA5,DATA6,DATA7,DATA8,DATA9) VALUES "
				+ "(?,?,?,?,?,?,?,?,?,?)";

		String selectSql = "SELECT b.DATA0,b.DATA1,b.DATA2,b.DATA3,b.DATA4,"
				+ "b.DATA5,b.DATA6,b.DATA7,b.DATA8,b.DATA9"
				+ " FROM (SELECT rownum r,"
				+ "a.DATA0,a.DATA1,a.DATA2,a.DATA3,a.DATA4,a.DATA5,a.DATA6,"
				+ "a.DATA7,a.DATA8,a.DATA9"
				+ " FROM LIJING727_ORIGDATA a WHERE rownum <= ?) b"
				+ " WHERE r >= ?";

		// String selectSql = "SELECT b.DATA0,b.DATA1,b.DATA2,b.DATA3,b.DATA4,"
		// + "b.DATA5,b.DATA6,b.DATA7,b.DATA8,b.DATA9"
		// + " FROM (SELECT rownum r,a.*"
		// + " FROM LIJING727_ORIGDATA a WHERE rownum <= ?) b"
		// + " WHERE r >= ?";

		try {

			Connection insertConn = dbPool.getConnection();
			Connection selectConn = dbPool.getConnection();

			OraclePreparedStatement selectPstmt = (OraclePreparedStatement) selectConn
					.prepareStatement(selectSql);
			OraclePreparedStatement insertPstmt = (OraclePreparedStatement) insertConn
					.prepareStatement(insertSql);

			selectPstmt.setInt(1, (threadNum + 1) * batchNum);
			selectPstmt.setInt(2, threadNum * batchNum + 1);

			ResultSet rs = selectPstmt.executeQuery();

			while (rs.next()) {

				insertPstmt.setInt(1, rs.getInt(1));
				insertPstmt.setString(2, rs.getString(2));
				insertPstmt.setString(3, rs.getString(3));
				insertPstmt.setString(4, rs.getString(4));
				insertPstmt.setString(5, rs.getString(5));
				insertPstmt.setString(6, rs.getString(6));
				insertPstmt.setString(7, rs.getString(7));
				insertPstmt.setString(8, rs.getString(8));
				insertPstmt.setString(9, rs.getString(9));
				insertPstmt.setString(10, rs.getString(10));

				insertPstmt.addBatch();

			}

			rs.close();
			insertPstmt.executeBatch();
			insertPstmt.close();
			selectPstmt.close();

			dbPool.returnConnection(insertConn);
			dbPool.returnConnection(selectConn);

			long end = System.currentTimeMillis();

			System.out.println("批量转换数据用时" + (end - start) / 1000f);

		} catch (SQLException e) {
			e.printStackTrace();
		}

	}

}

 

如果数据量很大，造成JVM溢出，可以在查询时的是分次处理，减少JVM的负担。

package util;

import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

import oracle.jdbc.driver.OraclePreparedStatement;

public class MultiBatchProcess {

	public static void batchInsert(int threadNum, int timeNum, int batchNum)
			throws ClassNotFoundException, SQLException, InterruptedException {

		ExecutorService exec = Executors.newCachedThreadPool();

		DbPool dbPool = new DbPool();
		dbPool.createPool();

		long start = System.currentTimeMillis();

		for (int i = 0; i < threadNum; i++) {

			exec.execute(new BatchInsert(dbPool, i, timeNum, batchNum, start));

		}

		exec.shutdown();

	}

	public static void batchTranfer(int threadNum, int timeNum, int batchNum)
			throws ClassNotFoundException, SQLException, InterruptedException {

		ExecutorService exec = Executors.newCachedThreadPool();

		DbPool dbPool = new DbPool();
		dbPool.createPool();

		long start = System.currentTimeMillis();

		for (int i = 0; i < threadNum; i++) {

			exec
					.execute(new BatchTransfer(dbPool, i, timeNum, batchNum,
							start));

		}

		exec.shutdown();

	}

}

class BatchTransfer implements Runnable {

	DbPool dbPool;
	int threadNo = 0;
	int timeNum = 0;
	int batchNum = 0;
	long start = 0;

	BatchTransfer(DbPool dbPool, int threadNum, int timeNum, int batchnum,
			long start) {

		this.dbPool = dbPool;
		this.threadNo = threadNum;
		this.timeNum = timeNum;
		this.batchNum = batchnum;
		this.start = start;

	}

	@Override
	public void run() {

		String insertSql = "INSERT INTO LIJING727_TEMPDATA(DATA0,DATA1,"
				+ "DATA2,DATA3,DATA4,DATA5,DATA6,DATA7,DATA8,DATA9) VALUES "
				+ "(?,?,?,?,?,?,?,?,?,?)";

		String selectSql = "SELECT b.DATA0,b.DATA1,b.DATA2,b.DATA3,b.DATA4,"
				+ "b.DATA5,b.DATA6,b.DATA7,b.DATA8,b.DATA9"
				+ " FROM (SELECT rownum r,"
				+ "a.DATA0,a.DATA1,a.DATA2,a.DATA3,a.DATA4,a.DATA5,a.DATA6,"
				+ "a.DATA7,a.DATA8,a.DATA9"
				+ " FROM LIJING727_ORIGDATA a WHERE rownum <= ?) b"
				+ " WHERE r >= ?";

		// String selectSql = "SELECT b.DATA0,b.DATA1,b.DATA2,b.DATA3,b.DATA4,"
		// + "b.DATA5,b.DATA6,b.DATA7,b.DATA8,b.DATA9"
		// + " FROM (SELECT rownum r,a.*"
		// + " FROM LIJING727_ORIGDATA a WHERE rownum <= ?) b"
		// + " WHERE r >= ?";

		try {

			Connection insertConn = dbPool.getConnection();
			Connection selectConn = dbPool.getConnection();

			OraclePreparedStatement selectPstmt = (OraclePreparedStatement) selectConn
					.prepareStatement(selectSql);
			OraclePreparedStatement insertPstmt = (OraclePreparedStatement) insertConn
					.prepareStatement(insertSql);

			for (int i = 0; i < timeNum; i++) {

				selectPstmt.setInt(1, threadNo * timeNum * batchNum + (i + 1)
						* batchNum);
				selectPstmt.setInt(2, threadNo * timeNum * batchNum + i
						* batchNum + 1);

				ResultSet rs = selectPstmt.executeQuery();

				while (rs.next()) {

					insertPstmt.setInt(1, rs.getInt(1));
					insertPstmt.setString(2, rs.getString(2));
					insertPstmt.setString(3, rs.getString(3));
					insertPstmt.setString(4, rs.getString(4));
					insertPstmt.setString(5, rs.getString(5));
					insertPstmt.setString(6, rs.getString(6));
					insertPstmt.setString(7, rs.getString(7));
					insertPstmt.setString(8, rs.getString(8));
					insertPstmt.setString(9, rs.getString(9));
					insertPstmt.setString(10, rs.getString(10));

					insertPstmt.addBatch();

				}

				rs.close();
				insertPstmt.executeBatch();
				insertPstmt.clearBatch();

			}

			insertPstmt.close();
			selectPstmt.close();

			dbPool.returnConnection(insertConn);
			dbPool.returnConnection(selectConn);

			long end = System.currentTimeMillis();

			System.out.println("批量转换数据用时" + (end - start) / 1000f);

		} catch (SQLException e) {
			e.printStackTrace();
		}
	}

}

class BatchInsert implements Runnable {

	DbPool dbPool;
	int threadNo = 0;
	int timeNum = 0;
	int batchNum = 0;
	long start = 0;

	BatchInsert(DbPool dbPool, int threadNum, int timeNum, int batchnum,
			long start) {

		this.dbPool = dbPool;
		this.threadNo = threadNum;
		this.timeNum = timeNum;
		this.batchNum = batchnum;
		this.start = start;

	}

	@Override
	public void run() {

		String insertSql = "INSERT INTO LIJING727_ORIGDATA(DATA0,DATA1,"
				+ "DATA2,DATA3,DATA4,DATA5,DATA6,DATA7,DATA8,DATA9) VALUES "
				+ "(?,?,?,?,?,?,?,?,?,?)";

		try {

			Connection conn = dbPool.getConnection();
			OraclePreparedStatement pstmt = (OraclePreparedStatement) conn
					.prepareStatement(insertSql);

			for (int i = 0; i < timeNum; i++) {

				for (int j = 0; j < batchNum; j++) {

					pstmt.setInt(1, threadNo * timeNum * batchNum + i
							* batchNum + j + 1);
					pstmt.setString(2, "test" + 2);
					pstmt.setString(3, "test" + 3);
					pstmt.setString(4, "test" + 4);
					pstmt.setString(5, "test" + 5);
					pstmt.setString(6, "test" + 6);
					pstmt.setString(7, "test" + 7);
					pstmt.setString(8, "test" + 8);
					pstmt.setString(9, "test" + 9);
					pstmt.setString(10, "test" + 10);

					pstmt.addBatch();

				}

				pstmt.executeBatch();
				pstmt.clearBatch();
			}

			pstmt.close();
			dbPool.returnConnection(conn);

			long end = System.currentTimeMillis();

			System.out.println("批量插入数据用时" + (end - start) / 1000f);

		} catch (SQLException e) {

			e.printStackTrace();

		}

	}

}

  

iteye_19022
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
对一个数据库表进行编辑：列表、翻页、插入、删除、修改。
02-09
对一个数据库表进行编辑：列表、翻页、插入、删除、修改。 内有示例。
数据库表的转换
林中鸟的博客
07-14 893
创建三张表 create table student( id varchar(10), name varchar(10) ); desc student; create table subject( subid varchar(10), subname varchar(10) ); desc subject; create table score( scoreid int, subid varchar(10), stdid varchar(10), score
mysql中数据库的切换以及数据库的展示和表的展示
remakeprogramer的博客
04-01 393
数据库的切换 // 切换到名为xxx的数据库 use `xxx`; 数据库的展示 // 展示所有存在的数据库名 show databases; 表的展示 // 展示目前数据库下所有存在的表名 show tables;
mysql切换表单_查看、切换数据库、表格的基本操作
weixin_39526185的博客
02-08 1388
前言想看网上的资料，主要都是对表格进行增(insert)删(delete)改(update)查(select)的介绍上面。但是对于如何打开数据库和查看数据库的信息没有过多的介绍。所以自己mark一下。说明：SQL(Structured Query Language)是对大小写不敏感的。下面例子的操作都是在workBench上操作的。连接的是本一、查看所有数据库。show database;二、使用...
将一个数据库中的表导入另一数据库
dream_perfect的专栏
08-26 610
表结构要相同for (int i = 0; i < objdata.Rows.Count; i++) { insertSql = "insert into " + toTable + " values ("; for (int j = 0; j < objdata.Colu
mysql 从一个表中查数据并插入另一个表实现方法
09-09
总之，通过灵活运用`INSERT INTO`语句，我们可以根据需求从一个表中查询数据并插入到另一个表，无论是否保留所有字段，或者进行数据转换。这种方法在数据库维护、数据同步以及数据分析中都具有广泛的应用。
Mysql 根据一个表数据更新另一个表的某些字段(sql语句)
09-09
在MySQL数据库管理中，有时我们需要根据一个表的数据来更新另一个表的特定字段。这通常涉及到数据同步或数据迁移的情况，特别是在维护大型数据库时。本文将详细介绍如何使用SQL语句实现这个功能，通过给出的示例代码...
oracle 将多张表中的列合并到一张表中
09-09
在Oracle数据库中，有时我们需要将来自多个表的列合并到一张新表中，以便于数据分析或报表生成。本文将详细讲解如何使用Oracle SQL语句来实现这个目标。 首先，我们回顾一下问题背景：假设我们有两个表，表A和表B，...
Java实体类字段生成工具类-将数据库表列字段转为Java实体类驼峰字段
05-29
1、在Java开发中，常常需要将数据库表列字段换成Java实体类字段。但是手动实现这个转换过程比较慢，且容易出错，影响开发效率。为了解决这个问题，开发了这个Java实体类字段生成工具类。 2、该工具类可以将数据库表...
SQL数据库单个数据表导出工具
12-25
生成的SQL文件包含一系列的INSERT语句，这些语句用于在另一个数据库中重建数据表的原始状态。INSERT语句在SQL中用于向表格添加新记录，其格式大致为 `INSERT INTO 表名 (列1, 列2, ...) VALUES (值1, 值2, ...);` ...
写一个SQL完成左边的表变成右边的表
tianzhijiaozi19的专栏
10-10 1138
http://zhidao.baidu.com/link?url=PMlMAYEl6DMDyLAw3T1ZOZOIu1lCj5hmCchCb1qym3rIh-hNJU1Bbw8XbjrPLWMdAFRUQJWObOlm1jv_HqZksrDYhrr39Bpgj86RONjqvXu 怎么用一条SQL从左边的表得到右边的结果 死性不改_文 | 浏览 145
把数据库内导入的表格转移到其他数据库
琳琳的博客
04-17 1079
首先，创建一个数据库，可以在数据库直接手动创建，然后使用命令即可转移表格到新的数据库 psql -h hostname -d databasename -U username -f file.sql 创建数据库，然后在命令行输入正确的用户名 文件地址文件名 数据库名 即可 ...
mysql把一个表的字段赋值到另一张表，多表之间常用的操作
m0_61083409的博客
06-07 1965
表userIdusernamepasswordsexaddrphone1张珊123男北京市15623565862李思456女北京市1562354256表scoreIduserIdusernamescorecoursephone1180语文2185数学需求：根据 把表的 和字段填充到表中 或者 （生产案例） 2. replace into：把一张表的数据新增或更新到另一张表 是的增强版 首先尝试插入数据到表中，的三种使用： 点击查看详情！ 在的表现形式：注意如果有重复数据时，会记录成的形式windows查看
第六章 数据转换
qq_46618641的博客
10-27 186
1.对文本文件personal_data.txt中的数据进行数据粒度转换，即将文本文件personnel_data.txt中字段household_register的数据统一成省份，并且输出到文本文档personnel_data_new.txt中。
数据库中的状态数据转换
chuiji1442的博客
08-24 246
function int_to_string(&$data,$map=array('status'=>array(1=>'正常',-1=>'删除',0=>'禁用',2=>'未审核',3=>'草稿'))) { if($data === fals...
数据库几百万数据怎么同步到另一张表
最新发布
06-10
同步几百万数据到另一张表可以采用以下几种方法： 1. INSERT INTO SELECT 语句：使用 INSERT INTO SELECT 语句可以将一个表中的数据复制到另一个表中。该语句可以在一个事务中执行，可以确保数据的一致性和完整性。 2. 数据库复制：数据库复制是将一个数据库的数据复制到另一个数据库中。数据库复制可以在不同的服务器之间进行，可以实现数据的异地备份和灾备恢复。 3. ETL 工具：ETL 工具可以从一个数据源中提取数据，并将数据转换为目标数据库中的格式，然后将数据加载到目标表中。ETL 工具可以进行数据清洗、转换和校验等操作，可以确保数据的质量和准确性。 4. 使用存储过程：可以使用存储过程来实现数据同步。存储过程可以包含一系列 SQL 语句和控制流程语句，可以实现复杂的数据处理逻辑，可以在一个事务中执行，确保数据的一致性和完整性。 需要根据具体情况选择不同的方法，同时需要注意数据同步的效率和数据的一致性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值