java 读取多行_java-如何从巨大的表中读取所有行？

因此，问题的症结在于，默认情况下，Postgres以“ autoCommit”模式启动，并且还需要/使用游标才能“分页”数据(例如：读取前10K个结果，然后读取 然后是下一个)，但是游标只能存在于事务中。 因此默认设置是始终将所有行都读取到RAM中，然后让程序在到达所有行之后开始处理“第一个结果行，然后第二个结果行”，这有两个原因，它不在事务中(因此，游标 (无法正常工作)，并且尚未设置抓取大小。

因此autoCommit命令行工具如何实现查询的批处理响应(其FETCH_COUNT设置)是在短期事务(如果尚未打开事务)中“包装”其选择的查询，以便游标可以工作。 您也可以使用JDBC做类似的事情：

static void readLargeQueryInChunksJdbcWay(Connection conn, String originalQuery, int fetchCount, ConsumerWithException consumer) throws SQLException {

boolean originalAutoCommit = conn.getAutoCommit();

if (originalAutoCommit) {

conn.setAutoCommit(false); // start temp transaction

}

try (Statement statement = conn.createStatement()) {

statement.setFetchSize(fetchCount);

ResultSet rs = statement.executeQuery(originalQuery);

while (rs.next()) {

consumer.accept(rs); // or just do you work here

}

} finally {

if (originalAutoCommit) {

conn.setAutoCommit(true); // reset it, also ends (commits) temp transaction

}

}

}

@FunctionalInterface

public interface ConsumerWithException {

void accept(T t) throws E;

}

这带来了需要更少的RAM的好处，而且即使您不需要节省RAM，我的结果也是总体上看运行更快。 奇怪的。 它还带来的好处是，您对第一行的处理“开始更快”(因为它一次处理一页)。

这就是“原始postgres游标”方式以及完整的演示代码的实现方式，尽管在我的实验中，无论出于何种原因，上述JDBC方式似乎都稍快一些。

另一个选择是在所有位置关闭autoCommit模式，尽管您仍然必须始终为每个新语句手动指定fetchSize(或者您可以在URL字符串中设置默认的提取大小)。