查询数据库中的所有数据,同步到elasticsearch中的实现

环境:查询数据库为一个微服务,同步到es中为另一个微服务,同步微服务调用查询微服务进行数据的同步

思路:
①每次从第一条数据开始查询,每次查询500条数据返回,进行同步
②当查询的结果为0时,返回null
③当查询结果数小于500时,代表数据库已经查询完毕

查询微服务的mapper接口方法

 /**
     * 查询大于当前id的500个数据,且为上架状态 同步到es中
     * @param skuId
     * @return
     */
    @Select("select * from tb_sku where id>#{skuId} and status='1' limit 500")
    List<Sku> findByStatusAndId(Long skuId);

查询微服务 查询的结果数为0,数据库查询完毕直接返回null


    
    public List<Sku> findByStatusAndId(Long skuId) {

       List<Sku> skuList = skuMapper.findByStatusAndId(skuId);
       //查询的结果数位0,返回null
        if (skuList.size()==0){
            skuList=null;
        }
       return skuList;
    }

同步微服务 数据库的第一条数据大于0,否则第一天数据查询不到

 @Override
    public void importDate() {

        Long skuId=0L;
        while (true){
            //调用goods微服务查询所有已经上架的产品 同步到es中
            Result<List<Sku>> skuByStatus = goodsFeign.findSkuByStatus(skuId);
            List<Sku> skuList = skuByStatus.getData();
            if(skuList==null){
                //全部结果查询完毕
                break;
            }
            //skuId更改为查询集合中最后一个元素的id,查询下一个500条数据
            skuId=skuList.get(skuList.size()-1).getId();

            //将查询的数据封装到与elasticSearch映射的javabean 集合中
            //先将查询集合转为json字符串,再转换为javabean集合
            List<SkuInfo> skuInfos = JSON.parseArray(JSON.toJSONString(skuList), SkuInfo.class);
            //skuInfos集合数据同步到es中
            searchMapper.saveAll(skuInfos);
            if (skuList.size()<500){
                //当前查询结果数据量小于500,代表全部结果查询完毕
                break;
            }
        }

    }
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值