使用spring jdbcTemplate 批量查询校验【支持50万数据】使用JDBC不会造成内存溢出

最新推荐文章于 2024-07-02 22:34:45 发布

是时候表演真正技术了

最新推荐文章于 2024-07-02 22:34:45 发布

阅读量5.9k

点赞数

文章标签： java

本文链接：https://blog.csdn.net/bujibo/article/details/60135334

版权

本文探讨了在处理大数据集时，如何使用Spring的JdbcTemplate进行批量查询以避免Java heap space内存溢出问题。通过对比，指出原生JDBC在批量校验上的优势，确保在处理50万数据时仍能有效运行。

摘要由CSDN通过智能技术生成

JDBC连接mysql，查大数据集报：java.lang.OutOfMemoryError: Java heap space
http://blog.csdn.net/hwwn2009/article/details/42423039

1.使用spring jdbcTemplate做批量校验（支持50万数据）

    public void mxCheck(String tableName,Map<String,String> checkMap) {  
          String sql="SELECT * from "+ConstKey.SCHEMA_RPT.trim()+"." + tableName+" where 1=1";
          final Map<String,String> map = checkMap;
          jdbcTemplate.query(sql, new ResultSetExtractor<List>() {  
              @Override  
              public List extractData(ResultSet rs)  
             throws SQLException, DataAccessException {  
                  List result = new ArrayList();  
                  ResultSetMetaData md = rs.getMetaData(); //获得结果集结构信息,元数据
                  int columnCount = md.getColumnCount();   //获得列数 
                  List<Map<String,Object>> list =  new ArrayList<Map<String,Object