java hibernate 插入数据_java – 如何使用Hibernate尽快插入数据

我读取文件并从中创建一个Object并存储到postgresql数据库.我的文件有100,000个文件,我从一个文件中读取并拆分并最终存储到数据库.

我无法创建List<>并将所有文档存储在List<>中因为我的RAM很少.我读写数据库的代码如下.但是我的JVM堆填充并且无法继续存储更多文档.如何有效地读取文件和存储到数据库.

public void readFile() {

StringBuilder wholeDocument = new StringBuilder();

try {

bufferedReader = new BufferedReader(new FileReader(files));

String line;

int count = 0;

while ((line = bufferedReader.readLine()) != null) {

if (line.contains("")) {

wholeDocument.append(line);

while ((line = bufferedReader.readLine()) != null) {

wholeDocument = wholeDocument.append("

" + line);

if (line.contains("")) {

System.out.println(count++);

addBodyToDatabase(wholeDocument.toString());

wholeDocument.setLength(0);

break;

}

}

}

}

wikiParser.commit();

} catch (FileNotFoundException e) {

e.printStackTrace();

} catch (IOException e) {

e.printStackTrace();

} finally {

try {

bufferedReader.close();

} catch (IOException e) {

e.printStackTrace();

}

}

}

public void addBodyToDatabase(String wholeContent) {

Page page = new Page(new Timestamp(System.currentTimeMillis()),

wholeContent);

database.addPageToDatabase(page);

}

public static int counter = 1;

public void addPageToDatabase(Page page) {

session.save(page);

if (counter % 3000 == 0) {

commit();

}

counter++;

}

最佳答案

首先,您应该在这里应用fork-join方法.

主任务解析文件并将最多100个项目的批次发送到ExecutorService.ExecutorService应该具有许多工作线程,这些线程等于可用数据库连接的数量.如果你有4个CPU内核,那么假设数据库可以采用8个并发连接,而??无需进行太多的上下文切换.

然后,您应配置connection pooling DataSource并使minSize等于maxSize且等于8.尝试使用HikariCP或ViburDBCP进行连接池.

然后你需要配置JDBC batching.如果你使用MySQL,IDENTITY生成器将禁用沐浴.如果您使用的是支持序列的数据库,请确保您还使用增强的标识符生成器(它们是Hibernate 5.x中的默认选项).

这样,实体插入过程被并行化并且与主解析线程分离.主线程应该等待ExecutorService在关闭之前完成所有任务的处理.