jdbc流stream读取超大数据

这几天在做分库分表，涉及到数据迁移，然后设计的方案是使用mybatis将数据分批读取出来，每批大概40--50万条数据，然后将查询来的数据再insert进去，发现这个效率很低，程序有卡顿，而且客户端很容易OOM。

找了一下原因就是jdbc默认的读取数据的时候，会将要查询的数据一次性读到内存中，再通过resultSet循环读取出来，这样子40--50万条数据很容易就撑爆内存，然后调研了下发现，其实可以通过jdbc流的方式读取数据，这种方式可以将读取出来的每一条数据查询到客户端，再执行insert操作，这样机器负载就会轻很多，实际操作了下，确实是这样的

上代码

public class StreamTest {

	public static void main(String[] args) throws SQLException, InterruptedException {
		StreamTest streamTest = new StreamTest();

		System.out.println("---------------------------");

		streamTest.selectData("select * from t_item_base_snapshot");

		System.out.println("---------------------------");

		streamTest.selectDataStream("select * from t_item_base_snapshot");
	}

	public static Connection getSqlConnection() {
		
		String url = "";
		String user = "";
		String password = "";
		String driverClass = "com.mysql.jdbc.Driver";

		Connection connection = null;
		try {
			Class.forName(driverClass);
			Properties info = new Properties();
			info.setProperty("user", user);//property的key必须是"user"
			info.setProperty("password", password);//property的key必须是"password"
			connection = DriverManager.getConnection(url, info);
			return connection;
		} catch (ClassNotFoundException e) {
			System.out.println("Not found driver class, load driver failed.");
		} catch (SQLException e) {
			System.out.println("create db connection error.");
		}
		return null;
	}


	public void selectData(String sqlCmd) throws SQLException {

		Connection conn = null;
		PreparedStatement stmt = null;
		ResultSet rs = null;

		try {

			conn = getSqlConnection();
			stmt = conn.prepareStatement(sqlCmd);
			rs = stmt.executeQuery();

			try {
				while (rs.next()) {
					try {
						System.out.println("one:" + rs.getString(1) + "two:" + rs.getString(2) + "thrid:" + rs.getString(3));
					} catch (SQLException e) {
						// TODO Auto-generated catch block
						e.printStackTrace();
					}
				}
			} catch (SQLException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}

		} finally {

		}
	}


	public void selectDataStream(String sqlCmd) throws SQLException {

		Connection conn = null;
		PreparedStatement stmt = null;
		ResultSet rs = null;

		try {

			conn = getSqlConnection();

			stmt = conn.prepareStatement(sqlCmd, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
			stmt.setFetchSize(Integer.MIN_VALUE);

			rs = stmt.executeQuery();

			try {
				while (rs.next()) {
					try {
						System.out.println("one:" + rs.getString(1) + "two:" + rs.getString(2) + "thrid:" + rs.getString(3));
					} catch (SQLException e) {
						// TODO Auto-generated catch block
						e.printStackTrace();
					}
				}
			} catch (SQLException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}

		} finally {

		}
	}

}

查询的表中大概有10万条数据，分别运行main方法中的selectData和selectDataStream方法，发现selectData执行过程中程序会有卡顿，说明正在将符合条件的数据全部load进内存，然后一次展示出来；selectDataStream执行的时候没有卡顿，数据会快速的分批的查询出来；最重要的selectData占用的内存比selectDataStream高两三倍，cpu使用率也高了一些

DataStream运行情况：

 

selectDataStream运行情况：

具体使用stream来读取数据，只是需要在生成prepareStatement时加上ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY这两个参数，再设置一下FetchSize为Integer.MIN_VALUE就可以了，mysql判断是否开启流式读取结果就是看这三个条件forward-only，read-only，fatch size=Integer.MIN_VALUE有没有被设置

如果不设置（不使用stream），就是默认的，mysql会将查询出来的数据全部返回客户端后，再执行ResultSet的next方法，在数据全部返回之前，next方法是阻塞的，设置了之后（使用stream），ResultSet的next方法就会立即返回server端返回的数据，这样客户端就不用使用大量的内存存储返回的数据了

除此之外，insert数据的时候，也可以使用jdbc提供的批次insert的方法addBatch（），以提高效率

还有就是，不管何种操作mysql的方式，比如常用的mybatis，因为底层都是使用的jdbc，所以要想高效的使用mysql，还是要从jdbc着手，要不好多坑还是绕不过去的