多线程查询ES返回结果

背景:现在人脸流水库有大概8W人脸数据需要提供给WEB组一个人脸检索接口(根据检索条件从ES中检索出相关数据 然后和传过来的人脸图片进行特征比对 筛选符合条件的数据  ):

方案:根据上传的图片,已经相关查询条件:

String place_id = json.getString("site_code");
float start_time = json.getFloatValue("start_time");
float end_time = json.getFloatValue("end_time");
String image = json.getString("image");//人脸图片base64编码
float similarity = json.getFloatValue("similarity")*0.01F;
String gender = json.getString("gender");//性别 男0女1
String min_age = json.getString("min_age");//最大年龄
String max_age = json.getString("max_age");//最小年龄

相关查询条件:

核心思路:根据相关查询条件:将查询语句已设备为单位根据 device_id  为单位  将一个查询语句拆分成若干个查询语句

通过多线程异步提交任务 将查询到相关结果 保存到结果索引里面:

 

核心代码如下;

 

        ExecutorService threadPools &#
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
利用Java多线程技术导入数据到Elasticsearch的方法步骤如下: 步骤1:引入必要的依赖 首先,需要在项目中引入Elasticsearch的Java客户端依赖,可以通过Maven或Gradle进行引入。 步骤2:创建Elasticsearch客户端 使用Elasticsearch的Java客户端创建与Elasticsearch服务器的连接。可以使用TransportClient或RestClient来进行连接。 步骤3:创建数据导入任务 创建一个数据导入任务类,实现Runnable接口,并重写run()方法。该任务类负责将数据导入到Elasticsearch中。根据需求,可以将数据分批导入,也可以按照一定规则并发导入。 步骤4:创建线程池 创建一个线程池,用于管理多个线程执行数据导入任务。可以使用Java自带的ThreadPoolExecutor类来创建线程池,并根据需求设置线程池的大小、任务队列等相关参数。 步骤5:提交任务到线程池 将数据导入任务提交到线程池中执行。可以使用execute()方法提交任务,也可以使用submit()方法提交任务并获取返回结果。 步骤6:等待任务完成 使用CountDownLatch或其他同步工具等待所有的数据导入任务完成。可以通过调用shutdown()方法关闭线程池,并在主线程中调用awaitTermination()方法等待所有任务执行完成。 步骤7:关闭Elasticsearch客户端 在数据导入完成后,关闭与Elasticsearch服务器的连接,释放资源。 步骤8:处理导入结果 根据需要,可以在任务类中添加相应的处理逻辑,比如统计导入数据的成功和失败数量,打印异常信息等。 总结: 利用Java多线程技术导入数据到Elasticsearch的主要步骤包括引入依赖、创建Elasticsearch客户端、创建数据导入任务、创建线程池、提交任务到线程池、等待任务完成、关闭客户端和处理导入结果。根据具体需求,可以灵活调整以上步骤的顺序和细节。同时,还应注意线程安全和异常处理等问题,以保证数据导入的正确性和可靠性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值