Dubbo+Solr+RabbitMQ实现数据同步功能

最新推荐文章于 2023-05-02 03:02:03 发布
最新推荐文章于 2023-05-02 03:02:03 发布
阅读量280 收藏
点赞数
分类专栏： java框架 文章标签： 队列 java 同步 Dubbo solr
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/grd_java/article/details/119716566
版权
该博客详细介绍了如何使用Spring Boot搭建项目环境，集成Solr、Dubbo和RabbitMQ。首先，创建父工程并引入相关依赖，接着创建pojo、mapper、api和provider子模块，实现数据存储和远程调用。然后，通过RabbitMQ实现实时同步Solr，确保商品新增操作的高效性和异步性。最后，提供了完整的代码示例和配置文件，帮助开发者快速理解和应用。
摘要由CSDN通过智能技术生成
网页右边，向下滑有目录索引，可以根据标题跳转到你想看的内容
如果右边没有就找找左边
整个案例的源码（可作为日后开发脚手架）：https://download.csdn.net/download/grd_java/21094886
Solr讲解：https://blog.csdn.net/grd_java/article/details/119476059
Dubbo讲解：https://blog.csdn.net/grd_java/article/details/119322297
RabbitMQ讲解：https://blog.csdn.net/grd_java/article/details/119696892

启动solr、RabbitMQ、Zookeeper
在这里插入图片描述

在这里插入图片描述

一、创建项目，搭建环境

1. 创建父工程，引入依赖

在这里插入图片描述

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.10.RELEASE</version>
    </parent>

    <dependencyManagement>
        <dependencies>
            <!--Spring boot不带web依赖，不会提供端口，因为一些-->
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter</artifactId>
                <version>2.5.3</version>
            </dependency>
            <!--Spirng boot带web，会自动提供端口-->
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-web</artifactId>
                <version>2.5.3</version>
            </dependency>
            <!--thymeleaf 模板依赖-->
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-thymeleaf</artifactId>
                <version>2.5.3</version>
            </dependency>
            <!--spring boot data  封装了solrJ 的jar包-->
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-data-solr</artifactId>
                <version>2.1.10.RELEASE</version>
            </dependency>
            <!--amqp RabbitMQ-->
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-amqp</artifactId>
                <version>2.1.10.RELEASE</version>
            </dependency>
            <!--Dubbo整合-->
            <dependency>
                <groupId>org.apache.dubbo</groupId>
                <artifactId>dubbo-spring-boot-starter</artifactId>
                <version>2.7.3</version>
            </dependency>
            <!--Zookeeper整合-->
            <dependency>
                <groupId>org.apache.curator</groupId>
                <artifactId>curator-recipes</artifactId>
                <version>4.2.0</version>
            </dependency>
            <dependency>
                <groupId>org.apache.curator</groupId>
                <artifactId>curator-framework</artifactId>
                <version>4.2.0</version>
            </dependency>
            <!--myBatis -->
            <dependency>
                <groupId>org.mybatis.spring.boot</groupId>
                <artifactId>mybatis-spring-boot-starter</artifactId>
                <version>1.3.2</version>
            </dependency>
            <!--mysql-->
            <dependency>
                <groupId>mysql</groupId>
                <artifactId>mysql-connector-java</artifactId>
                <version>8.0.19</version>
            </dependency>
            <!--apace commons工具-->
            <dependency>
                <groupId>commons-io</groupId>
                <artifactId>commons-io</artifactId>
                <version>2.11.0</version>
            </dependency>
        </dependencies>
    </dependencyManagement>
2. 创建pojo模块存放实体类，创建与solr和数据库对应的实体类（必须继承序列化接口）

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

3. 创建mapper模块，处理所有数据库相关操作
  1. 依赖，从父工程依赖中复制过来，然后引入自己的实体类子模块

在这里插入图片描述

  1. mapper接口
    在这里插入图片描述
  2. xml文件
    在这里插入图片描述
<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.yzpnb.mapper.ProductMapper">
    <insert id="insertProduct" parameterType="com.yzpnb.bean.Product">
        insert into t_product(name,price) value(#{name},#{price});
    </insert>
</mapper>
  1. 配置文件
    在这里插入图片描述
spring:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://192.168.47.1:3306/dubbo_demo?serverTimezone=CST&useUnicode=true&characterEncoding=utf-8&useSSL=false&allowPublicKeyRetrieval=true #？后面参数表示时区，非常重要
    username: root
    password: 123456
# MyBatis
mybatis:
  # 搜索指定包别名
  type-handlers-package: com.yzpnb.bean
  # 配置mapper的扫描，找到所有的mapper.xml映射文件
  mapperLocations: classpath:mybatis/*Mapper.xml
4. 创建api模块，存放Dubbo远程调用接口
  1. 引入依赖（引入自己pojo和mapper子模块即可）
    在这里插入图片描述
  2. 远程调用接口
    在这里插入图片描述
5. 创建provider子模块，生产所有远程调用接口
  1. 依赖（需要api子模块，自动继承api中依赖）
    在这里插入图片描述
    <dependencies>
        <dependency>
            <groupId>com.yzpnb</groupId>
            <artifactId>api</artifactId>
            <version>1.0-SNAPSHOT</version>
        </dependency>
        <!--Spring boot不带web依赖，不会提供端口，因为一些-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
        <!--Dubbo整合-->
        <dependency>
            <groupId>org.apache.dubbo</groupId>
            <artifactId>dubbo-spring-boot-starter</artifactId>
        </dependency>
        <!--Zookeeper整合-->
        <dependency>
            <groupId>org.apache.curator</groupId>
            <artifactId>curator-recipes</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.curator</groupId>
            <artifactId>curator-framework</artifactId>
        </dependency>
    </dependencies>
  1. 配置文件
    在这里插入图片描述
dubbo:
  application:
    name: dubbo-provider # 在dubbo注册中心的名字
  registry:
    address: zookeeper://192.168.10.105:2181 # zookeeper地址，用zookeeper协议
  protocol:
    port: 20884 #dubbo端口,可以不写，和Dubbo注册中心取到联系
spring:
  profiles:
    active: mybatis # 加载其它配置文件,加载的是 application-*.yaml,我们只要指定*所代表的即可
  1. 启动类
    在这里插入图片描述
  2. 远程api接口实现类
    在这里插入图片描述

二、商品新增

1. 创建子模块product，用来处理所有和product相关的服务
  1. 依赖,需要调用远程api接口，其它就是必须的spring-web，dubbo，zookeeper
    在这里插入图片描述
  2. service
    在这里插入图片描述
  3. controller
    在这里插入图片描述
import com.yzpnb.bean.Product;
import com.yzpnb.service.ProductService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;


@RestController
@RequestMapping("/product")
public class ProductController {
    @Autowired
    private ProductService productService;

	//http://localhost:8080/product/insertProduct/huawei/6999
    @GetMapping("insertProduct/{name}/{price}")
    public int findAllDept(@PathVariable("name") String name,@PathVariable("price") Double price){
        Product product = new Product();
        product.setPrice(price);
        product.setName(name);
        return productService.insertProduct(product);
    }
}

三、Solr同步

1. 创建子模块solr-pojo，存放solr需要使用的实体类
  1. 引入依赖
    在这里插入图片描述
  2. 创建实体类
    在这里插入图片描述
2. 创建子模块search，用于操作solr
  1. 引入依赖（amqp rabbitmq的包不需要引入）
    在这里插入图片描述
  2. 启动类
    在这里插入图片描述
  3. 配置文件
    在这里插入图片描述
  4. service
    在这里插入图片描述
import com.yzpnb.bean.search_pojo.SearchProduct;
import com.yzpnb.service.SearchService;
import org.apache.solr.client.solrj.response.UpdateResponse;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.solr.core.SolrTemplate;
import org.springframework.stereotype.Service;

@Service
public class SearchServiceImpl implements SearchService {

    //相当于SolrJ的Solr客户端，这里Spirng data帮我们封装了
    @Autowired
    private SolrTemplate solrTemplate;

    /**
     * 插入数据到solr
     * @param searchProduct
     * @return
     */
    @Override
    public boolean insert(SearchProduct searchProduct) {
        //这里我们执行添加修改操作时，需要指定对哪个核心做操作，这里操作testcore核心
        UpdateResponse response = solrTemplate.saveBean("testcore", searchProduct);
        solrTemplate.commit("testcore");//提交也需要指定提交到哪个核心
        if(response.getStatus() == 0){
            return true;
        }
        return false;
    }
}
  1. 编写配置类，定义SolrTemplate的Bean实例，否则会报错，找不到SolrTemplate
    在这里插入图片描述
import org.apache.solr.client.solrj.SolrClient;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.solr.core.SolrTemplate;

@Configuration
public class SolrConfig {
    @Autowired
    SolrClient solrClient;

    @Bean
    public SolrTemplate getSolrTemplate(){
        return new SolrTemplate(solrClient);
    }
}
  1. 先编写一个controller测试一下业务是否正常
    在这里插入图片描述
import com.yzpnb.bean.search_pojo.SearchProduct;
import com.yzpnb.service.SearchService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;
@RestController
@RequestMapping("/product-search")
public class SearchController {
    @Autowired
    private SearchService searchService;

    @GetMapping("insertSearchProduct/{name}/{price}")
    public boolean insert(@PathVariable("name") String name,@PathVariable("price") Double price){
        SearchProduct searchProduct = new SearchProduct();
        searchProduct.setName(name);
        searchProduct.setPrice(price);
        return searchService.insert(searchProduct);
    }
}
  1. 运行测试（测试完，就可以将controller删除了，他和mapper子模块一样，只是一个用来远程调用使用的接口）
    在这里插入图片描述
3. 同步solr
  1. api子模块中引入search子模块（方便我们远程调用）
    在这里插入图片描述
  2. 重写Provider 调用接口
    在这里插入图片描述
import com.yzpnb.bean.Product;
import com.yzpnb.bean.search_pojo.SearchProduct;
import com.yzpnb.dubbo.service.ProductDubboService;
import com.yzpnb.mapper.ProductMapper;
import com.yzpnb.service.SearchService;
import org.apache.dubbo.config.annotation.Service;
import org.springframework.beans.BeanUtils;
import org.springframework.beans.factory.annotation.Autowired;

@Service
public class ProductDubboServiceImpl implements ProductDubboService {

    @Autowired
    private ProductMapper productMapper;
    @Autowired
    private SearchService searchService;

    @Override
    public int insertProduct(Product product) {

        int i = productMapper.insertProduct(product);
        if(i == 1){
            SearchProduct searchProduct = new SearchProduct();
            BeanUtils.copyProperties(product,searchProduct);//把product的属性复制给searchProduct
            boolean b = searchService.insert(searchProduct);
            if(b == true){
                return 1;//同步插入成功
            }
        }
        //否则插入失败，
        //删除刚刚插入到数据库的数据，这里省略这些步骤，id我们也自增的，实际项目都是需要自己生成id，记录，这一步，通过记录的id，删除
        //为了简单直接返回0
        return 0;
    }
}
  1. 启动provider和product，测试
    在这里插入图片描述

四、通过RabbitMQ 实现异步同步solr

  1. 前面的代码有一个问题，solr的同步都写到了一起，这样做，每次存储，都会浪费同步的时间
  2. 通过RabbitMQ就可以异步完成这件事，数据存储到数据库，不用关心同步问题，让RabbitMQ帮忙干这件事即可
首先，因为RabbitMQ规定，如果发送消息是一个对象，那么必须序列化实体类对象

在这里插入图片描述

public static final long serialVersionUID=1l;
其次，因为Solr子模块search，我们刚刚删除了controller和启动类，需要相应更改
  1. 因为没有启动类，所以需要依赖其它模块的服务器进行加载，那么首先需要修改配置文件的名字，方便之后加载
    在这里插入图片描述
1. 创建子模块rabbitmq，存放RabbitMQ的所有发送操作（发送消息到队列）
  1. 依赖
    在这里插入图片描述
  2. 配置文件（因为这同样是一个不需要启动的模块，需要借助其它模块加载配置文件）
    在这里插入图片描述
  3. 配置类，配置队列实例Bean
    在这里插入图片描述
  4. 发送类，提供发送消息到队列的方法
    在这里插入图片描述
import org.springframework.amqp.core.AmqpTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;

@Component
public class Sender {

    @Autowired
    private AmqpTemplate amqpTemplate;

    public void send(Object obj){
        amqpTemplate.convertAndSend("MyQueue",obj);
        System.out.println("RabbitMQ-----------A obj send to MyQueue");
    }
}
2. 创建子模块receive，存放所有接收队列消息的操作
  1. 依赖
    在这里插入图片描述
  2. 配置文件
    在这里插入图片描述
  3. 启动类
    在这里插入图片描述
  4. 接收类
    在这里插入图片描述
import com.yzpnb.bean.search_pojo.SearchProduct;
import com.yzpnb.service.SearchService;
import org.springframework.amqp.core.Message;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;

import java.io.ByteArrayInputStream;
import java.io.IOException;
import java.io.ObjectInputStream;

@Component//启动项目，自动注入这个类
public class Receive {

    @Autowired
    private SearchService searchService;

    @RabbitListener(queues = "MyQueue")//标注此方法为接收MyQueue队列消息的方法
    public void solr(Object obj){
        System.out.println("RabbitMQ solr方法 收到 MyQueue的消息---------");

        Message msg = (Message) obj;
        ByteArrayInputStream bIS = null;
        ObjectInputStream oIS = null;
        try{
            bIS = new ByteArrayInputStream(msg.getBody());
            oIS = new ObjectInputStream(bIS);
            Object o = oIS.readObject();
            SearchProduct searchProduct = (SearchProduct) o;

            boolean b = searchService.insert(searchProduct);
            if(b == true){//同步成功结束代码执行
                return;
            }else{
                //同步失败，执行逻辑，数据库内容删除，这里省略
            }

        }catch (Exception e){
            e.printStackTrace();
        }finally {
            try {
                bIS.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
            try {
                oIS.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }

    }
}
  1. 重写provider的远程调用，同步不需要它来同步了
    在这里插入图片描述
运行测试
  1. 启动provider
  2. 启动receive
  3. 启动product
    在这里插入图片描述
殷丿grd_志鹏
关注
专栏目录
dubbo+rabbitmq+springMvc+maven简单demo
03-03
dubbo+rabbitmq+springMvc+maven简单demo，在别人的基础上改了一下，把activemq修改为rabbitmq。跑起来的时候要修改一下数据库链接
Dubbo+rabbitMQ
u012511463的博客
03-21 1910
Dubbo： 微服务框架，底层用的是RPC。zk宕机后，消费者能正确运行。zk会动态的向客户端更新服务列表信息。当zk宕机后，由于之前已经同步了zk的服务列表信息,所以客户端可以按照自己已经缓存的清单进行访问。 dubbo负载均衡策略：在reference标签中配置负载均衡策略；“loadbalance=” random "；四种：Random随机; RoundRobin轮循；LeastActiv...
RabbitMQ整合Spring项目xml配置文件形式
DreamsArchitects的博客
08-18 1900
Spring项目整合RabbitMQ依赖生产者xml配置文件消费者xml配置文件Spring的配置文件消费者消费测试类生产消息 依赖 <dependency> <groupId>org.springframework.amqp</groupId> <artifactId>spring-rabbit</artifactId> <version>2.2.8.RELEASE</version> </d
dubbo+rabbitMQ
03-19
dubbo负载均衡策略：在reference标签中配置负载均衡策略；"loadbalance=" random "；四种：Random随机; RoundRobin轮循；LeastActive最少活跃调用数，使慢的提供者收到更少请求；ConsistentHash 一致性Hash，相同参数的请求总是发到同一提供者。
消息中间件 RabbitMQ 和搜索服务器 Solr
qq_42918433的博客
02-21 220
Quartz 有四个核心接口 Job、JobDetail、Trigger 和 Scheduler[15]。Quartz 的运行原理如图 所示。Scheduler 是整个任务调度的总部，里面注册了很多的 JobDetail 和 Trigger。Trigger 主要有表达式触发和简单触发两个接口，表达式触发的功能更强大，在开发时使用比较广泛，用来设置多久进行一次任务调度。当 Scheduler 容器启动时，JobDetail 和 Trigger 会在 Scheduler 容器上进行注册。注册后，JobDeta
Dubbo+Solr+RabbitMQ实现Solr数据同步 DataSyncParent.zip
08-15
Dubbo+Solr+RabbitMQ实现Solr数据同步
使用Dubbo、Solr和RabbitMQ实现高效数据同步方案
在本资源文件中，RabbitMQ被用作消息队列，实现数据变更的异步处理和传递。 知识点四：Solr数据同步的实现方式 数据同步是将数据从一个或多个源系统复制到一个或多个目标系统的过程。在本资源文件中，数据同步主要...
spring，mybatis，hibernate，activemq，redis，dubbo的集成
06-17
Dubbo 是阿里巴巴开源的服务治理框架，主要用于实现分布式服务。它提供服务注册、发现、调用、监控等功能，帮助构建高可用、高性能的分布式系统。 在这样的集成项目中，`maven`作为项目管理工具，负责依赖管理和...
SpringBoot模板：springboot和dubbo，netty的集成，redis mongodb的nosql模板，kafka rocketmq rabbit的MQ模板，solr solrcloud elasticsearch查询引擎
02-04
springBoot的application.properties... [Spring Boot中使用RabbitMQ] [Spring Boot中使用kafka] [Spring Boot中使用SolrCloud] [Spring Boot中使用MyBatis整合Druid多数据源] [Spring Boot中使用Dubbo详解] [Spr
大数据同步代码框架实现源码
04-01
mybatis,mysql,maven,springboot,springsecurity,rabbitmq,solr,dubbo,zookeeper,同步与异步 前后端交互; 代码部署: mysql8.7,rabbitmq,solr,zookeeper运行于 wsl2 ~fedora35, idea2019 ~jdk8 sql表为常用的dept
同步通信Dubbo
dsaggdsd的博客
08-30 149
1.Dubbo 是一个高性能、轻量级的开源的远程过程调用面向服务分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理方案。 Dubbo 提供了三大核心能力：面向接口的远程方法调用，智能容错和负载均衡，以及服务自动注册和发现。 Dubbo 提供的下面四点特性： 负载均衡——同一个服务部署在不同的机器时该调用那一台机器上的服务。 服务调用链路生成——哪个应用要在...
dubbo数据共享
10-15
需要先下载,安装Zookeper文件，并在mycelise里面配置dubbo文件
grilas项目中集成dubbo进行同步发送消息问题
lileronglilerong的专栏
06-17 1639
1：今年的项目用的是grails项目进行开发的，领导说项目需要用同步的接口发送消息，定义好dubbo接口后，发现个问题。dubbo是本地的。没有注册中心的，启动的时候一直报错。说dubbo无法注册有问题。debug发现，是服务端还没实例化话时，客户端就开始实例化了，所以导致了注册有问题 2：尝试过的办法，把加载服务端的配置放在客户端前面。但是依然没解决。 3：最终发现。在gra
springmvc+redis+dubbo+rabbitmq+maven
12-08
这是一个混合的实例 ，springmvc的maven项目。包含redis实例,dubbo实例，rabbitmq实例。
RabbitMq、Kafka、RocketMq整理
最新发布
itwxming的博客
05-02 1872
MQ的主要作用：异步提高性能、解耦提高扩展性、削峰。
java+大数据(1).pdf
12-24
- **阿里飞猪旅游网大数据分析（包含智能推荐部分）**（30天）：运用机器学习算法实现个性化推荐。 这些知识体系覆盖了Java开发和大数据处理的多个层面，通过理论学习和项目实战，可以帮助你成为一名合格的大数据...
solr的集群部署及dubbox基本使用
要记得输出！
07-21 814
娱乐头条_search_solrCLoud solr的集群 什么是solrCLoud: 什么时候需要使用solrCloud solrCloud的结构 : solrCloud集群的数据的读取和分裂的流程 solrCloud的部署 : 能够参考文档搭建成功 zookeeper集群 solrCLoud的集群 solrCloud的管理命令 : 将其记录好, 用的时候打开复制 使用solr...
一个dubbo项目3-solr服务的搭建
weixin_34096182的博客
02-20 202
一个dubbo项目3-solr服务的搭建 项目里，涉及到全文检索，为了方便快速开发和维护，最终使用solr来解决这个问题。下面分享下搭建过程。1、下载solr，这里我使用的solr版本是：4.10.42、解压缩:目录结构3、在linux的某个目录中【这里依然使用/usr/local】，新建一个名字叫solr的目录，这么做主要是方便管理，可以把solr...
用spring boot + redis + dubbo +rabbitmq + mybatis 搭建一个项目
weixin_30608503的博客
04-09 257
　　用spring boot + redis + dubbo +rabbitmq + mybatis 搭建一个项目。 　　项目链接地址： 　　1、创建项目，目录结构如下图。controller和server通过dubbo链接。在server中根据不同业务决定是否调用rabbitmq-publisher 　　　　 　　2、在主pom文件中加入常规所需要的依赖jar 　　　　 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

殷丿grd_志鹏

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值