MySQL JDBC配置FetchSize 预防大数据量加载OOM错误

2019独角兽企业重金招聘Python工程师标准>>>

    JDBC API里在Connection、Statement和ResultSet上都有设置fetchSize的方法，但是默认情况下：MySQL的JDBC驱动都不支持，无论你怎么设fetchSize，ResultSet都会一次性从Server读取全部数据。

    要使得MySQL的JDBC在查询数据加载时是分批加载（而不是一次加载全部），首先MySQL的JDBC驱动版本至少5.0以上，然后有三种方法可以实现：

方法1：

stmt = conn.createStatement(ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY); 
stmt.setFetchSize(Integer.MIN_VALUE);

方法2：

调用statement的enableStreamingResults方法，实际上enableStreamingResults()内部封装的就是【方法1】。

stmt = conn.createStatement(ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY); 
((com.mysql.jdbc.Statement)stmt).enableStreamingResults();

 

方法3：

在url中设置连接属性useCursorFetch=true (>=5.0版驱动开始支持)，statement以TYPE_FORWARD_ONLY打开，再设置fetch size参数，表示采用服务器端游标，每次从服务器取fetch_size条数据。

url = "jdbc:mysql://localhost:3306/db?useCursorFetch=true";

stmt = conn.createStatement(ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY); 
stmt.setFetchSize(x);

 

转载于:https://my.oschina.net/liuyuanyuangogo/blog/2413741