- 博客(2)
- 资源 (4)
- 收藏
- 关注
转载 JDBC postgresql大数据量流式读取
前言:最近做数据同步,需要从PostgreSql获取数据,发现一旦数据比较多,那么读取的速度非常慢,并且内存占用特别多&GC不掉。代码样例:为了方便讲解,下面写了事例代码,从b2c_order获取数据,这个数据表6G左右。package com.synchro;import java.sql.*;/** * Created by qiu.li on 2
2018-02-04 14:23:01 6484 1
转载 JDBC mysql大数据量流式读取
总结下这周帮助客户解决报表生成操作的mysql 驱动的使用上的一些问题,与解决方案。由于生成报表逻辑要从数据库读取大量数据并在内存中加工处理后再生成大量的汇总数据然后写入到数据库。基本流程是 读取->处理->写入。读取操作开始遇到的问题是当sql查询数据量比较大时候基本读不出来。开始以为是server端处理太慢。但是在控制台是可以立即返回数据的。于是在应用这边抓包,发现也是发送sql后立即有数
2018-02-04 14:17:22 14040
固定管理系统
2011-10-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人