外网数据同步到内网方案_畅购商城（六）数据同步解决方案canal

最新推荐文章于 2024-04-23 03:45:58 发布
最新推荐文章于 2024-04-23 03:45:58 发布
阅读量660 收藏
点赞数
文章标签： 外网数据同步到内网方案
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39522170/article/details/111394252
版权

学习目标

  • 能够完成canal环境的搭建与数据监控微服务的开发

  • 能够完成首页广告缓存更新的功能，掌握OkHttpClient的基本使用方法

  • 能够完成商品上架索引库导入数据功能，能够画出流程图和说出实现思路

  • 能够完成商品下架索引库删除数据功能，能够画出流程图和说出实现思路

1. canal

1.1 canal简介

canal可以用来监控数据库数据的变化，从而获得新增数据，或者修改的数据。

canal是应阿里巴巴存在杭州和美国的双机房部署，存在跨机房同步的业务需求而提出的。

阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。

60ef937b898d43939664147fdd1fcffc.png

原理相对比较简单：

  1. canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump请求

  2. mysql master收到dump请求，开始推送binary log给canal

  3. canal解析binary log对象(原始为byte流)

1.2 环境部署

1.2.1 mysql开启binlog模式

(1)查看当前mysql是否开启binlog模式。

SHOW VARIABLES LIKE '%log_bin%'

如果log_bin的值为OFF是未开启，为ON是已开启。

(2)修改/etc/my.cnf 需要开启binlog模式。

[mysqld]

log-bin=mysql-bin

binlog-format=ROW

server_id=1

修改完成之后，重启mysqld的服务。

(3) 进入mysql

mysql -h localhost -u root -p

(4)创建账号 用于测试使用

使用root账号创建用户并授予权限

create user canal@'%' IDENTIFIED by 'canal';

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT,SUPER ON *.* TO 'canal'@'%';

FLUSH PRIVILEGES;

1.2.2 canal服务端安装配置

(1)下载地址canal

https://github.com/alibaba/canal/releases/tag/canal-1.0.24

8285796be69065acaad79b2e2c35c578.png

(2)下载之后 上传到linux系统中，解压缩到指定的目录/usr/local/canal

解压缩之后的目录结构如下：

2e0c3dda41cd99dbdd6abf719975a1f5.png

(3)修改 exmaple下的实例配置

vi conf/example/instance.properties

ea328630c03e6473599709a9bc484de1.png

修改如图所示的几个参数。

一定要注释掉下面这个参数，这样就会扫描全库

#canal.instance.defaultDatabaseName =

(3)启动服务：

[root@localhost canal]# ./bin/startup.sh

(4)查看日志：

cat /usr/local/canal/logs/canal/canal.log

7b46be841265863dfa07eb59f5776e63.png

这样就表示启动成功了。

1.2.3 canal常见错误处理

错误信息如下:

2019-06-17 19:35:20.918 [New I/O server worker #1-2] ERROR c.a.otter.canal.server.netty.handler.SessionHandler - something goes wrong with channel:[id: 0x7f2e9be3, /192.168.200.56:52225 => /192.168.200.128:11111], exception=java.io.IOException: Connection reset by peer

解决办法:

进入mysql中执行下面语句查看binlog所在位置

mysql> show master status;

显示如下:

+------------------+----------+--------------+------------------+-------------------+

| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |

+------------------+----------+--------------+------------------+-------------------+

| mysql-bin.000001 | 120 | | | |

+------------------+----------+--------------+------------------+-------------------+

1 row in set (0.00 sec)

如果file中binlog文件不为 mysql-bin.000001 可以重置mysql

mysql> reset master;

查看canal配置文件

vim usr/local/canal/conf/example/meta.dat

找到对应的binlog信息更改一致即可, 或者删除这个meta.dat也可以.

"journalName":"mysql-bin.000001","position":43581207,"

1.3 数据监控微服务

当用户执行数据库的操作的时候，binlog 日志会被canal捕获到，并解析出数据。我们就可以将解析出来的数据进行相应的逻辑处理。

我们这里使用的一个开源的项目，它实现了springboot与canal的集成。比原生的canal更加优雅。

https://github.com/chenqian56131/spring-boot-starter-canal

使用前需要将starter-canal安装到本地仓库。

我们可以参照它提供的canal-test，进行代码实现。

(1)创建工程模块changgou_canal，pom引入依赖

com.xpand

starter-canal

0.0.1-SNAPSHOT

(2)创建包com.changgou.canal ，包下创建启动类

@SpringBootApplication

@EnableCanalClient

public class CanalApplication {

public static void main(String[] args) {

SpringApplication.run(CanalApplication.class, args);

}

}

(3)添加配置文件application.properties

canal.client.instances.example.host=192.168.200.128

canal.client.instances.example.port=11111

canal.client.instances.example.batchSize=1000

(4)创建com.changgou.canal.listener包，包下创建类

@CanalEventListener

public class BusinessListener {

@ListenPoint(schema = "changgou_business", table = {"tb_ad"})

public void adUpdate(CanalEntry.EventType eventType, CanalEntry.RowData rowData) {

System.err.println("广告数据发生变化");

rowData.getBeforeColumnsList().forEach((c) -> System.err.println("更改前数据: " + c.getName() + " :: " + c.getValue()));

rowData.getAfterColumnsList().forEach((c) -> System.err.println("更改后数据: " + c.getName() + " :: " + c.getValue()));

}

}

测试：启动数据监控微服务，修改changgoubusiness的tbad表，观察控制台输出。

2. 首页广告缓存更新

2.1 需求分析

当tb_ad(广告)表的数据发生变化时，更新redis中的广告数据。

2.2 实现思路

(1)修改数据监控微服务，监控tb_ad表，当发生增删改操作时，提取position值(广告位置key)，发送到rabbitmq

(2)从rabbitmq中提取消息，通过OkHttpClient调用ad_update来实现对广告缓存数据的更新。

31b451cfe4ae57d361cce9851e2836d1.png

2.3 代码实现

2.3.1 发送消息到mq

(1)在rabbitmq管理后台创建队列 adupdatequeue ，用于接收广告更新通知

(2)引入rabbitmq起步依赖

org.springframework.amqp

spring-rabbit

(3)配置文件application.properties 添加内容

spring.rabbitmq.host=192.168.200.128

(4)修改BusinessListener类

@CanalEventListener

public class BusinessListener {

@Autowired

private RabbitTemplate rabbitTemplate;

@ListenPoint(schema = "changgou_business", table = {"tb_ad"})

public void adUpdate(CanalEntry.EventType eventType, CanalEntry.RowData rowData) {

System.err.println("广告数据发生变化");

//修改前数据

for(CanalEntry.Column column: rowData.getBeforeColumnsList()) {

if(column.getName().equals("position")){

System.out.println("发送消息到mq ad_update_queue:"+column.getValue());

rabbitTemplate.convertAndSend("","ad_update_queue",column.getValue()); //发送消息到mq

break;

}

}

//修改后数据

for(CanalEntry.Column column: rowData.getAfterColumnsList()) {

if(column.getName().equals("position")){

System.out.println("发送消息到mq ad_update_queue:"+column.getValue());

rabbitTemplate.convertAndSend("","ad_update_queue",column.getValue()); //发送消息到mq

break;

}

}

}

}

(5)测试，运行数据监控微服务canal，新增、修改或删除tbad表数据，修改后观察控制台输出和rabbitmq管理界面中adupdate_queue是否接收到消息

a4266a9bc8639c287b6f33c99a92c725.png

2.3.2 从mq中提取消息执行更新

(1)changgouservicebusiness工程pom.xml引入依赖

org.springframework.boot

spring-boot-starter-amqp

com.squareup.okhttp3

okhttp

3.9.0

(2)在spring节点下添加rabbitmq配置

spring:

rabbitmq:

host: 192.168.200.128

(3)com.changgou.business包下创建listener包，包下创建类

@Component

@RabbitListener(queues = "ad_update_queue")

public class AdListener {

/**

* 获取更新广告通知

* @param message

*/

@RabbitHandler

public void updateAd(String message){

System.out.println("接收到消息："+message);

String url = "http://192.168.200.128/ad_update?position="+message;

OkHttpClient okHttpClient = new OkHttpClient();

final Request request = new Request.Builder()

.url(url)

.build();

Call call = okHttpClient.newCall(request);

call.enqueue(new Callback() {

@Override

public void onFailure(Call call, IOException e) {

e.printStackTrace();//显示错误信息

}

@Override

public void onResponse(Call call, Response response) throws IOException {

System.out.println("调用成功"+response.message());

}

});

}

}

(4)测试，启动eureka和business微服务，观察控制台输出和数据同步效果。

3. 商品上架索引库导入数据

3.1 需求分析

商品上架将商品的sku列表导入或更新索引库。

3.2 实现思路

(1)当调用商品微服务中商品上架方法时候, 则商品微服务连接mysql数据库根据SPU的主键ID更改SPU表中is_marketable状态字段的值为1(已上架).

(2)在rabbitmq管理后台创建商品上架交换器(Exchanges)。使用分列模式(fanout)的交换器是考虑商品上架会有很多种逻辑需要处理，导入索引库只是其中一项，另外还有商品详细页静态化等操作。这样我们可以创建导入索引库的队列和商品详细页静态化队列并与商品上架交换器进行绑定。

(3)商品微服务将需要上架的SPU的主键ID发送给rabbitMq的商品上架交换器, 交换器则将数据根据路由规则发给对应的索引库上架队列和静态页上架队列.

(4) 搜索微服务从rabbitmq的索引库上架队列中提取spu的id，通过feign调用商品微服务得到sku的列表，并且通过调用elasticsearch的高级restAPI 将sku列表导入到索引库。

(5) 静态页微服务从rabbitmq的静态页上架队列中提取SPU的id, 通过feign调用商品微服务得到sku, 分类, 品牌, spu等各种数据信息, 然后根据模板生成静态化页面.

3c3839dc7a69d7bf960eafc1f1645eb4.png

3.3 代码实现

3.3.1 配置rabbitMQ

(1)在rabbitmq后台创建交换器goodsupexchange(类型为fanout)，创建队列searchaddqueue绑定交换器goodsupexchange

a. 添加交换器

047b79e60a636cd3415afe851afe4345.png

b. 添加搜索上架队列

43509825f0cdb56055abd4af6415f50b.png

c. 添加静态页上架队列

bde2c5c6d158e63f2fd6836f168ba732.png

d. 交换器中绑定搜索上架队列和静态页上架队列

f1d58685a993a068d8280bfe520af871.png

3.3.2 发送上架商品id到Mq

(1) changgouservicegoods工程引入依赖:

org.springframework.boot

spring-boot-starter-amqp

(2) changgouservicegoods工程的application.yml中添加rabbitmq配置

spring:

rabbitmq:

host: 192.168.200.128

(3) changgouservicegoods工程的SpuServiceImpl中更改方法

@Autowired

private RabbitMessagingTemplate rabbitTemplate;

@Override

public void put(String id) {

/**

* 1. 更改数据库中的上架状态

*/

Spu spu = spuMapper.selectByPrimaryKey(id);

if(!spu.getStatus().equals("1")){

throw new RuntimeException("未通过审核的商品不能上架！");

}

spu.setIsMarketable("1");//上架状态

spuMapper.updateByPrimaryKeySelective(spu);

/**

* 2. 将数据发送到rabbitmq中

*/

rabbitTemplate.convertAndSend("goods_up_exchange","",id);

}

3.3.3 索引库环境准备

(1)elasticsearch 6.5.2安装

(2)ik中文分词器安装

(3)kibana-6.5.2 安装

3.3.4 搜索微服务搭建

(1)创建changgouservicesearch模块，pom.xml引入依赖

com.changgou

changgou_common

1.0-SNAPSHOT

org.springframework.cloud

spring-cloud-starter-netflix-eureka-client

org.springframework.boot

spring-boot-starter-data-elasticsearch

com.changgou

changgou_service_goods_api

1.0-SNAPSHOT

com.changgou

changgou_service_search_api

1.0-SNAPSHOT

org.springframework.boot

spring-boot-starter-amqp

(2)changgouservicesearch的application.yml

server:

port: 9009

spring:

application:

name: search

rabbitmq:

host: 192.168.200.128

redis:

host: 192.168.200.128

main:

allow-bean-definition-overriding: true #当遇到同样名字的时候，是否允许覆盖注册

data:

elasticsearch:

cluster-name: elasticsearch

cluster-nodes: 192.168.200.128:9300

eureka:

client:

service-url:

defaultZone: http://127.0.0.1:6868/eureka

instance:

prefer-ip-address: true

feign:

hystrix:

enabled: true

client:

config:

default: #配置全局的feign的调用超时时间 如果 有指定的服务配置 默认的配置不会生效

connectTimeout: 600000 # 指定的是 消费者 连接服务提供者的连接超时时间 是否能连接 单位是毫秒

readTimeout: 600000 # 指定的是调用服务提供者的 服务 的超时时间() 单位是毫秒

#hystrix 配置

hystrix:

command:

default:

execution:

timeout:

#如果enabled设置为false，则请求超时交给ribbon控制

enabled: false

isolation:

strategy: SEMAPHORE

elasticSearch的配置是我们自己定义的，后边的连接工厂类会用到

(3)创建com.changgou包，包下创建SearchApplication

@SpringBootApplication

@EnableEurekaClient

@EnableDiscoveryClient

@EnableFeignClients(basePackages = "com.itheima.feign")

public class SearchApplication {

public static void main(String[] args) {

SpringApplication.run(SearchApplication.class);

}

}

3.3.5 创建索引库结构

  1. 在changgouserviceapi项目下创建changgouservicesearch_api项目

  2. pom.xml文件引入依赖

com.changgou

changgou_common

1.0-SNAPSHOT

org.springframework.boot

spring-boot-starter-data-elasticsearch

  1. 创建包com.changgou.pojo

  2. 创建和ES索引库映射实体类SkuInfo.java

@Document(indexName = "skuinfo", type = "docs")

public class SkuInfo implements Serializable {

//商品id，同时也是商品编号

@Id

@Field(index = true, store = true, type = FieldType.Keyword)

private Long id;

//SKU名称

@Field(index = true, store = true, type = FieldType.Text, analyzer = "ik_smart")

private String name;

//商品价格，单位为：元

@Field(index = true, store = true, type = FieldType.Double)

private Long price;

//库存数量

@Field(index = true, store = true, type = FieldType.Integer)

private Integer num;

//商品图片

@Field(index = false, store = true, type = FieldType.Text)

private String image;

//商品状态，1-正常，2-下架，3-删除

@Field(index = true, store = true, type = FieldType.Keyword)

private String status;

//创建时间

private Date createTime;

//更新时间

private Date updateTime;

//是否默认

@Field(index = true, store = true, type = FieldType.Keyword)

private String isDefault;

//SPUID

@Field(index = true, store = true, type = FieldType.Long)

private Long spuId;

//类目ID

@Field(index = true, store = true, type = FieldType.Long)

private Long categoryId;

//类目名称

@Field(index = true, store = true,type = FieldType.Keyword)

private String categoryName;

//品牌名称

@Field(index = true, store = true,type = FieldType.Keyword)

private String brandName;

//规格

private String spec;

//规格参数

private Map<String, Object> specMap;

......get和set方法......

3.3.6 创建ES操作的Dao接口

public interface SearchMapper extends ElasticsearchRepository<SkuInfo,Long> {

}

3.3.7 搜索微服务批量导入数据逻辑

(1) changgouservicegoods_api创建com.changgou.feign 包，包下创建接口

@FeignClient(name="goods")

@RequestMapping("/sku")

public interface SkuFeign {

/***

* 多条件搜索品牌数据

* @param searchMap

* @return

*/

@GetMapping(value = "/search" )

public Result findList(@RequestParam Map searchMap);

}

(2)changgouservicesearch项目下创建 com.changgou.search.service包包下创建接口EsManagerService

public interface EsManagerService {

/**

* 创建索引库结构

*/

public void createIndexAndMapping();

/**

* 根据spuid导入数据到ES索引库

* @param spuId 商品id

*/

public void importDataToESBySpuId(String spuId);

/**

* 导入全部数据到ES索引库

*/

public void importAll();

}

(2)创建com.changgou.search.service包，包下创建服务实现类

@Service

public class EsManagerServiceImpl implements EsManagerService {

@Autowired

private SearchMapper searchMapper;

@Autowired

private SkuFeign skuFeign;

@Autowired

private ElasticsearchTemplate esTemplate;

/**

* 创建索引库结构

*/

@Override

public void createIndexAndMapping() {

//创建索引

esTemplate.createIndex(SkuInfo.class);

//创建映射

esTemplate.putMapping(SkuInfo.class);

}

/**

* 根据spuid导入数据到ES索引库

* @param spuId 商品id

*/

@Override

public void importDataToESBySpuId(String spuId) {

List<Sku> skuList = skuFeign.findSkuListBySpuId(spuId);

List<SkuInfo> skuInfos = JSON.parseArray(JSON.toJSONString(skuList), SkuInfo.class);

for (SkuInfo skuInfo : skuInfos) {

skuInfo.setSpecMap(JSON.parseObject(skuInfo.getSpec(), Map.class));

}

searchMapper.saveAll(skuInfos);

}

/**

* 导入全部数据到ES索引库

*/

@Override

public void importAll() {

Map paramMap = new HashMap();

paramMap.put("status", "1");

Result result = skuFeign.findList(paramMap);

List<SkuInfo> skuInfos = JSON.parseArray(JSON.toJSONString(result.getData()), SkuInfo.class);

for (SkuInfo skuInfo : skuInfos) {

skuInfo.setPrice(skuInfo.getPrice());

skuInfo.setSpecMap(JSON.parseObject(skuInfo.getSpec(), Map.class));

}

searchMapper.saveAll(skuInfos);

}

}

3.3.8 根据spuId导入索引库数据

(1)changgouservicesearch项目下, 创建com.changgou.controller包, 包下创建SearchController

@RestController

@RequestMapping("/sku_search")

public class SearchController {

@Autowired

private EsManagerService esManagerService;

@Autowired

private SearchService searchService;

@GetMapping("/createIndexAndMapping")

public Result createIndexAndMapping() {

esManagerService.createIndexAndMapping();

return new Result(true, StatusCode.OK, "创建成功");

}

/**

* 导入所有审核通过的库存数据到ES索引库

* @return

*/

@GetMapping("/importAll")

public Result importAllDataToES() {

esManagerService.importAll();

return new Result(true, StatusCode.OK, "导入数据成功!");

}

/**

* 全文检索

* @return

*/

@GetMapping

public Map search(@RequestParam Map<String, String> paramMap) throws Exception {

Map resultMap = searchService.search(paramMap);

return resultMap;

}

}

3.3.9 接收mq消息执行导入

(1)changgouservicesearch工程的pom.xml文件中引入依赖包

org.springframework.boot

spring-boot-starter-amqp

(2)changgouservicesearch工程创建com.changgou.listener包，包下创建类

@Component

@RabbitListener(queues = "search_add_queue")

public class SpuAddListener {

@Autowired

private EsManagerService esManagerService;

@RabbitHandler

public void addDataToES(String spuId) {

System.out.println("===接收到需要商品上架的spuId为======" + spuId);

esManagerService.importDataToESBySpuId(spuId);

}

}

测试：

注意: 测试前将ES中现有的SkuInfo索引库删除干净

(1)启动环境 eureka 、elasticsearch 、canal服务端、canal数据监控微服务、rabbitmq

(2)启动商品微服务、搜索微服务

(3)先访问 http://localhost:9009/sku_search/createIndexAndMapping 创建索引库结构

( 4 ) 修改tbspu某记录的ismarketable值为1，观察控制台输出，启动kibana查询记录是否导入成功

4. 商品下架索引库删除数据

4.1 需求分析

商品下架后将商品从索引库中移除。

4.2 实现思路

与商品上架的实现思路非常类似。

(1)当管理员操作商品微服务, 调用下架操作时, 首先更新mysql的SPU表中的is_marketable状态为0(下架)。

(2)在rabbitmq管理后台创建商品下架交换器(Exchanges)。使用分列模式(Fanout)的交换器是考虑商品下架会有很多种逻辑需要处理，索引库删除数据只是其中一项，另外还有删除商品详细页等操作。

(3)搜索微服务从rabbitmq的的队列中提取spu的id，通过调用elasticsearch的高级restAPI 将相关的sku列表从索引库删除。

01a0926d0895c29569de3546d6ec42eb.png

4.3 代码实现(作业)

根据上边讲解的实现思路完成商品下架索引库删除数据的功能

(1)完成商品下架交换器的创建，队列的创建与绑定，将spuId发送消息到mq

(2)编写业务逻辑，实现根据spuId删除索引库数据的方法

(3)从rabbitmq中提取消息，调动根据spuId删除索引库数据的方法

关注微信公众号 java干货 ，回复畅购商场即可获得该资料

weixin_39522170
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RabbitMQ镜像集群与Shovel&Federation跨集群数据同步
qq_39344638的博客
07-14 1898
RabbitMQ跨集群数据同步，RabbitMQ的RPO测量与设定，Shovel和Federation工具的使用。
RabbitMQ - 网络单向畅通的情况进行数据同步
qq_38800175的博客
07-12 1209
RabbitMQ - RabbitMQ同步两个SpringBoot服务数据 参考：RabbitMQ整合SpringBoot API使用教程 前言： 在开发公司项目的时候，客户要求将两台服务的数据进行同步，条件是一台服务器在内网，一台服务器在外网，** 两台服务器上部署的代码完全一致 **, 内网可以访问外网，但是外网访问不了内网，在此条件下，诞生了本文将要描述的功能。 思考1：数据同步中间件的采用 方案1：数据库主从备份 使用数据库主从备份，那么B服务器想要同步A服务器的就比较简单，但是A服务器同步B服务
python selenium环境安装及配置_Python+Selenium+Phantomjs数据抓取环境配置实践
weixin_39867594的博客
11-26 135
以后估计要做数据挖掘方面的项目，现在却连数据都不会爬，这怎么能行？先在知乎上面看到有高手说selenium可以用来爬数据，然后进一步找到了“数据抓取的艺术（一）：Selenium+Phantomjs数据抓取环境配置”，照着做却碰到了问题。Python用的是 ActivePython，里面已经帮你把easy_install 和 pip 都装好了，第一步Python的安装没有问题。但是第二步使用 p...
CanalClient卡死宿主服务原因分析
最新发布
2401_84049040的博客
04-23 967
光给面试题不给答案不是我的风格。这里面的面试题也只是凤毛麟角，还有答案的话会极大的增加文章的篇幅，减少文章的可读性。
Linux之镜像下载
热门推荐
liuxiangyang_的博客
08-20 6万+
一.官网下载 官网地址：https://www.centos.org/download/ 此种下载方式不太建议，一方面下载速度慢另一方面提供的版本不多 二.国内镜像网站下载 当前新版本下载 1.这个网站适合下载现行通用的大版本，比如Centos6和7系列的。其他的历史版本在另外一个网站里面，这里先介绍下通用的版本 https://opsx.alibaba.com/mirror 2.这里会显示很...
rabbitmq同步传输
m0_67394230的博客
04-22 510
2021SC@SDUSC rabbitmq同步传输的使用 rabbitmq同步传输 配置rabbitmq同步传输 同步请求设置 同步请求传输 rabbitmq同步传输 配置rabbitmq同步传输 @Bean AsyncRabbitTemplate asyncRabbitTemplate(RabbitTemplate rabbitTemplate){ return new AsyncRabbitTemplate(rabbitTemplate); } 同步请求设置
RabbitMQ-同步和异步通讯、安装和入门案例、SpringAMQP(5个消息发送接收Demo,jackson消息转换器)
树叶子的博客
07-13 1552
基本消息队列的消息发送流程：建立connection创建channel利用channel声明队列利用channel向队列发送消息基本消息队列的消息接收流程：建立connection创建channel利用channel声明队列定义consumer的消费行为handleDelivery()利用channel将消费者与队列绑定多个消费者绑定到一个队列，同一条消息只会被一个消费者处理通过设置prefetch来控制消费者预取的消息数量。
数据同步的终极解决方案，阿里巴巴开源的Canal框架当之无愧.docx
10-26
总的来说，Canal作为阿里巴巴开源的数据同步框架，为互联网行业的数据同步提供了终极解决方案。其设计精巧，性能优秀，广泛应用于中小型企业，有效解决了分布式环境下的数据一致性问题。如果你正在寻找一种高效、...
最新版Canal数据同步中间件（包含canal.deployer和canal.adapter）
12-01
最新版阿里开源中间件canal实现mysql数据库同步，零侵入不写代码实现，也可以通过整合到项目程序实现更加灵活的控制。详细使用方法：https://blog.csdn.net/u014374009/category_9409106.html
美团DB数据同步到数据仓库的架构与实践
01-27
【美团DB数据同步到数据仓库的架构与实践】 ...总的来说，美团采用的这种架构提供了一种高效、精准和稳定的数据同步方案，满足了大规模业务数据从MySQL到Hive的迁移需求，为数据仓库的建设和数据分析提供了坚实的基础。
canal实现mysql到ES数据实时同步
07-11
Canal是一款由阿里巴巴开源的数据库增量日志抽取工具，它能够监听MySQL的数据变更，然后将这些变更实时地同步到其他系统，如Elasticsearch。在本篇中，我们将深入探讨如何利用Canal实现这一功能。 首先，我们要了解...
乐优商城学习笔记二十一-RabbitMQ项目改造
小武的Blog
04-23 476
title: 乐优商城学习笔记二十一-RabbitMQ项目改造 date: 2019-04-22 16:22:07 tags: - 乐优商城 - java - RabbitMQ categories: - 乐优商城 3.项目改造 接下来，我们就改造项目，实现搜索服务、商品静态页的数据同步。 3.1.思路分析 发送方：商品微服务 什么时候发？ 当商品服务对商品进行写操作：增、删、改的时候，...
数据同步解决方案-canal与rabbitmq
zzhou——blog
03-17 9068
文章目录学习目标1. canal1.1 canal简介1.2 环境部署1.2.1 mysql开启binlog模式1.2.2 canal服务端安装配置1.2.3 canal常见错误处理1.3 数据监控微服务2. 首页广告缓存更新2.1 需求分析2.2 实现思路2.3 代码实现2.3.1 发送消息到mq2.3.2 从mq中提取消息执行更新3. 商品上架索引库导入数据3.1 需求分析3.2 实现思路3....
Rabbitmq可靠性、幂等性、及集群高可用
xiaomagezuishuai的博客
11-30 581
Rabbitmq可靠性、幂等性、顺序性 前言 Rabbimq可靠性、幂等性、顺序性。 一、Rabbitmq可靠性。 1.生产者可靠性保证 a. rabbitmq发送消息，如果不进行特殊设置（设置为事务模式或者确认模型），则生产者可靠性无法保证，默认rabbitmq不会返回任何信息给生产者。 b.事务模式的缺点，事务模式本身为同步机制，性能上比确认模式要差，确认模式为异步模式（与mqserver连接的信道也为双向信道）。 1.mandatory参数与备份交换机 1.mandatory参数设置为true pac
rabbitmq 同步策略_基于公有云的RabbitMQ双向数据同步方案
weixin_26516841的博客
01-12 501
基于公有云的RabbitMQ双向数据同步方案一、测试环境阿里云MQ：172.16.130.204(master)/172.16.128.63(slave)微软云MQ：172.16.192.9(master)/172.16.192.28(slave)同步组件：RabbitMQfederation-upstream同步方式：双向同步二、方案目标及介绍验证基于不同公有云的数据中心，支持MQ消息...
ElasticSearch - 在 微服务项目 中基于 RabbitMQ 实现 ES 和 MySQL 数据异步同步（考点）
CYK_byte的博客
09-29 2255
微服务 架构的项目上，不同的业务往往会在不同的微服务上，比如 “商品数据管理业务” 和 “商品数据搜索业务” 肯定会在两个不同的微服务上，那么跨微服务的项目就没办法直接操作了.
第十五 rabbitmq及数据同步
m0_45209551的博客
07-18 1133
消息队列，即MQ，Message Queue。消息队列是典型的：生产者、消费者模型。生产者不断向消息队列中生产消息，消费者不断的从队列中获取消息。因为消息的生产和消费都是异步的，而且只关心消息的发送和接收，没有业务逻辑的侵入，这样就实现了生产者和消费者的解耦。结合前面所说的问题：商品服务对商品增删改以后，无需去操作索引库或静态页面，只是发送一条消息，也不关心消息被谁接收。搜索服务和静态页面服务接收消息，分别去处理索引库和静态页面。
RabbitMQ及数据同步
庭前云落的博客
08-16 2208
学习目标 了解常见的MQ产品 了解RabbitMQ的5中消息模型 1、搜索和商品服务的问题 商品的原始数据保存在数据库中，增删改查都在数据库中完成。 搜索服务数...
数据同步的终极解决方案:阿里巴巴开源的Canal框架
liuyaokai1990的博客
08-06 926
写在前面 在当今互联网行业，尤其是现在分布式、微服务开发环境下，为了提高搜索效率，以及搜索的精准度，会大量使用Redis、Memcached等NoSQL数据库，也会使用大量的Solr、Elasticsearch等全文检索服务。那么，这个时候，就会有一个问题需要我们来思考和解决：那就是数据同步的问题！如何将实时变化的数据库中的数据同步到Redis/Memcached或者Solr/El...
OTTER深度解析：数据同步解决方案与实战
"深入理解otter，这是一本关于阿里开源的数据同步工具otter的书籍，otter在数据同步领域有着重要的应用。本书探讨了otter的架构、设计以及如何应对各种同步挑战，如处理网络差异、数据一致性、高效同步等。此外，还...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值