多线程批量写入ES工具

业务背景: 读取本地大文件,或者读取ES的文件 进行业务处理 将结果存入ESBlukUtil工具import com.zrt.govername.waimai.BlukTask;import org.apache.log4j.Logger;import java.util.ArrayList;import java.util.List;import java.util.Map;import java.util.concurrent.*;/** * @Classname B..
摘要由CSDN通过智能技术生成

业务背景: 读取本地大文件,或者读取ES的文件  进行业务处理 将结果存入ES

 

BlukUtil工具

import com.zrt.govername.waimai.BlukTask;
import org.apache.log4j.Logger;

import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.concurrent.*;

/**
 * @Classname BlukUtil
 * @Description 批量多线程提交数据工具
 * @Date 2020/5/8 10:38
 * @Created by wsl
 */
public class BlukUtil {
   private static final Logger logs = Logger.getLogger(BlukUtil.class);
   private int bulkSize;//批量提交数量
   private int nThreads;//任务线程数
   private String indexName;//任务线程数
   private ExecutorService threadPool;
   private CompletionService<String> completionService;
   private int taskNum=0;//任务计数器

   public  BlukUtil(int bulkSize, int nThreads, String indexName) {//构造方法 确定
      this.bulkSize = bulkSize;
      this.nThreads = nThreads;
      this.indexName = indexName;
      initPool();
   }

   public  void initPool(){
       threadPool = Exe
  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
您可以使用多线程将数据从数据库批量导入 Elasticsearch。 以下是一个示例代码: ``` // 创建 Elasticsearch 客户端 RestHighLevelClient client = new RestHighLevelClient( RestClient.builder( new HttpHost("localhost", 9200, "http"))); // 创建线程池 ExecutorService executor = Executors.newFixedThreadPool(10); // 查询数据库中的数据 Connection conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/mydatabase", "username", "password"); PreparedStatement statement = conn.prepareStatement("SELECT * FROM mytable"); ResultSet rs = statement.executeQuery(); // 循环遍历查询结果 while (rs.next()) { // 创建写入请求 XContentBuilder builder = XContentFactory.jsonBuilder(); builder.startObject(); builder.field("field1", rs.getString("field1")); builder.field("field2", rs.getString("field2")); builder.endObject(); IndexRequest indexRequest = new IndexRequest("index_name").source(builder); // 提交写入请求到线程池 executor.submit(() -> { try { client.index(indexRequest, RequestOptions.DEFAULT); } catch (IOException e) { e.printStackTrace(); } }); } // 关闭资源 rs.close(); statement.close(); conn.close(); // 关闭 Elasticsearch 客户端和线程池 client.close(); executor.shutdown(); ``` 在上面的代码中,我们使用了一个线程池来并发地将数据导入 Elasticsearch。您可以根据需要调整线程池的大小。 同时,您需要将 `localhost` 和 `9200` 替换为 Elasticsearch 的主机名和端口号,将 `mydatabase` 替换为您的数据库名称,将 `username` 和 `password` 替换为数据库的用户名和密码,将 `mytable` 替换为您要导入的表名,将 `index_name` 替换为要写入的 Elasticsearch 索引名称,将 `field1` 和 `field2` 替换为您要写入的字段名称。 注意,在多线程的情况下,您需要同时处理异常和线程安全性,以确保数据的正确导入。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值