1.从Hbase中进行批量get时,一次get操作获取到的的数据量(20W)太大了报错
解决方案:分割查询,分10次查询,每次批量get只获取2w数据,取出数据后再进行拼装
2.原生JDBC写法批量执行sql时出现的问题
/*sqlList为要执行的sql的集合,smt为Statement对象,conn为Connection对象*/
for(String sql : sqlList){
smt.addBatch(sql);
}
smt.excuteBatch();
conn.commit();
sqlList中存放了20w条sql,smt批量执行之后,进行commit操作时报错,原因是数据库内存不足。
解决方案:sql分批执行,一次只执行1万条,分20次执行。