java多线程写入同一csv文件_Java多线程批量数据导入的方法介绍

详细内容

本篇文章给大家带来的内容是关于Java多线程批量数据导入的方法介绍，有一定的参考价值，有需要的朋友可以参考一下，希望对你有所帮助。

前言：当遇到大量数据导入时，为了提高处理的速度，可以选择使用多线程来批量处理这些处理。常见的场景有：大文件导入数据库(这个文件不一定是标准的CSV可导入文件或者需要在内存中经过一定的处理)

数据同步(从第三方接口拉取数据处理后写入自己的数据库)

以上的场景有一个共性，这类数据导入的场景简单来说就是将数据从一个数据源移动到另外一个数据源，而其中必定可以分为两步数据读取：从数据源读取数据到内存

数据写入：将内存中的数据写入到另外一个数据源，可能存在数据处理

而且数据读取的速度一般会比数据写入的速度快很多，即读取快，写入慢。

设计思路

由于场景的特点是读取快，写入慢，如果是使用多线程处理，建议是数据写入部分改造为多线程。而数据读取可以改造成批量读取数据。简单来说就是两个要点：批量读取数据

多线程写入数据

示例

多线程批量处理最简单的方案是使用线程池来进行处理，下面会通过一个模拟批量读取和写入的服务，以及对这个服务的多线程写入调用作为示例，展示如何多线程批量数据导入。

模拟服务import java.util.concurrent.atomic.AtomicLong;

/**

* 数据批量写入用的模拟服务

*

* @author RJH

* create at 2019-04-01

*/

public class MockServic