ES与MySQL数据同步（全量与增量）

最新推荐文章于 2024-06-12 15:49:05 发布
最新推荐文章于 2024-06-12 15:49:05 发布
阅读量3.4w 收藏 163
点赞数 11
分类专栏： 项目实战 文章标签： elasticsearch
原文链接：https://blog.csdn.net/RuiKe1400360107/article/details/104083996
版权

思考： 

  1. 考虑ES如何与数据库实现同步？
  2. ES如何查询多个字段？
  3. 如何构建商品服务（包含搜索功能）？
  4. ES肯定是集群的，如何集群？
  5. 一个项目当它做大做当后都可能会需要将数据从传统的数据库同步到另一种数据集合中，一般用于提高查询效率或将数据进行备份的目的。其中比较常见的一种同步方式是从关系型数据库同步到es
  6. MQ与logstash实现ES与数据库同步区别
  7. 基于Docker方式实现Elasticsearch集群
  8. 整合Elasticsearch  IK分词器

一、理论基础

1.1、es与数据库是如何保持一致的呢？

原理：

1.2、MySQL与ES实时同步常用插件

参考：https://www.cnblogs.com/jpfss/p/10832918.html

1.3、logstash-input-jdbc同步插件原理：

作用：使用 logstash-input-jdbc 插件读取 mysql 的数据

如何安装logstash-input-jdbc插件：https://blog.csdn.net/yeyuma/article/details/50240595#quote

原理：

定时执行一个 sql，然后将 sql 执行的结果写入到流中，增量获取的方式没有通过 binlog 方式同步，而是用一个递增字段作为条件去查询，每次都记录当前查询的位置，由于递增的特性，只需要查询比当前大的记录即可获取这段时间内的全部增量，一般的递增字段有两种，AUTO_INCREMENT 的主键 id 和 ON UPDATE CURRENT_TIMESTAMP 的 update_time 字段，id 字段只适用于那种只有插入没有更新的表，update_time 更加通用一些，建议在 mysql 表设计的时候都增加一个 update_time 字段

1.4、什么是全量同步和增量同步

（1）全量同步

什么是全量同步：将一个mysql的整个表的所有数据都同步到es中

常用插件是logstash-input-jdbc，logstash通过sql语句分区间对数据进行查询，然后输出到es进行实现。

（2）增量同步（canal）

什么是增量同步：业务场景需要实时性较高并对要求对数据库的压力比较小。

logstash不再适合增量同步，logstash是基于sql来完成的，并且是通过cron表达式来调用。

阿里在做大做强的过程中也遇到过类似的问题，为了达到性能的最优，他们自己通过JAVA代码实现了mysql的数据同步功能，通过解析mysql 的日志进行实现的，并且把这个项目开源——canal

canal地址：https://github.com/alibaba/canal

原理：

简单看了下代码，它里面是通过一个server和一个client来进行实现的，及server负责mysql的日志监听与收集，然后再传给client端，server与client端使用的netty进行数据的tcp通信，现在也有了kafka和rocketMQ作为通信渠道的版本。同时canal也有专门的可视化监控界面，方便进行查看，同时也有HA（hadoop集群）的实现方式，通过zookeeper来进行实现的。

使用：

想将数据从mysql同步到es通过canal的一个adapter就可以直接实现了

参考：https://github.com/alibaba/canal/tree/master/client-adapter

canal优点：

（1）canal实现数据的增量同步性能高，有可视化界面可监控

（2）看canal esAdapter的源码可知，canal esAdater中的etl方法对全量同步的功能也已经做了实现，可增量可全量同步了

 

1.5、MQ与logstash实现ES与数据库同步区别

Logstash实现ES与数据库同步：使用定时器方式 、实现简单

MQ实现ES与数据库同步：实时性、复杂性更高、一致性强

1.6、拼音分词器elasticsearch-analysis-pinyin

略

二、实战

2.1、商品服务搜索如何实现

商品服务搜索采用ElasticSearch实现

需要考虑什么问题？

（1）如何实现ES与mysql数据库同步

A、使用logstash 把mysql 同步到 elasticsearch

什么是logstash?

Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地

1.上传logstash-6.4.3.tar.gz到服务中
2.tar –zxvf  logstash-6.4.3.tar.gz
3.cd logstash-6.4.3 
4. bin/logstash-plugin install logstash-input-jdbc
5. bin/logstash-plugin install logstash-output-elasticsearch

相关配置文件说明:

jdbc_driver_library: jdbc mysql 驱动的路径，在上一步中已经下载
jdbc_driver_class: 驱动类的名字，mysql 填 com.mysql.jdbc.Driver 就好了
jdbc_connection_string: mysql 地址
jdbc_user: mysql 用户
jdbc_password: mysql 密码
schedule: 执行 sql 时机，类似 crontab 的调度
statement: 要执行的 sql，以 “:” 开头是定义的变量，可以通过 parameters 来设置变量，这里的 sql_last_value 是内置的变量，表示上一次 sql 执行中 update_time 的值，这里 update_time 条件是 >= 因为时间有可能相等，没有等号可能会漏掉一些增量
use_column_value: 使用递增列的值
tracking_column_type: 递增字段的类型，numeric 表示数值类型, timestamp 表示时间戳类型
tracking_column: 递增字段的名称，这里使用 update_time 这一列，这列的类型是 timestamp
last_run_metadata_path: 同步点文件，这个文件记录了上次的同步点，重启时会读取这个文件，这个文件可以手动

B、多文件方式同步ES数据

一个 logstash 实例可以借助 pipelines 机制同步多个表，只需要写多个配置文件就可以了

案例：

假设我们有两个表 table1 和 table2，对应两个配置文件 sync_table1.cfg 和 sync_table2.cfg

在 config/pipelines.yml 中配置：

- pipeline.id: table1
  path.config: "config/sync_table1.cfg"
- pipeline.id: table2
  path.config: "config/sync_table2.cfg"

./bin/logstash

（2）构建商品服务信息接口

商品搜索服务接口：

@GetMapping("/search")
	public BaseResponse<List<ProductDto>> search(String productName);

@Autowired
	private ProductReposiory productReposiory;

	@Override
	public BaseResponse<List<ProductDto>> search(String productName) {
		BoolQueryBuilder builder = QueryBuilders.boolQuery();
		// 设置模糊搜索
		builder.must(QueryBuilders.fuzzyQuery("name", productName));
		List<ProductEntity> search = (List<ProductEntity>) productReposiory.search(builder);
		List<ProductDto> listReuslt = new ArrayList<>();
		BeanUtils.copyProperties(search, listReuslt);
		return setResultSuccess(listReuslt);
	}

public interface ProductReposiory extends ElasticsearchRepository<ProductEntity, Long> {

}

@SpringBootApplication
@EnableElasticsearchRepositories(basePackages = { "com.mayikt.product.es" })
public class AppProduct {

	public static void main(String[] args) {
		SpringApplication.run(AppProduct.class, args);
	}
}

配置文件：

###服务启动端口号
server:
  port: 8500
###服务名称(服务注册到eureka名称)  
eureka:
  client:
    service-url:
           defaultZone: http://localhost:8100/eureka


  
spring:
  application:
    name:  app-mayikt-goods
  redis:
    host: 188.131.155.46
    port: 6379
    password: 123456
    pool:
      max-idle: 100
      min-idle: 1
      max-active: 1000
      max-wait: -1
###数据库相关连接      
  datasource:
    username: root
    password: root
    driver-class-name: com.mysql.jdbc.Driver
    url: jdbc:mysql://127.0.0.1:3306/goods?useUnicode=true&characterEncoding=UTF-
  data:
    elasticsearch:
    ####集群名称
     cluster-name: myes
    ####地址 
     cluster-nodes: 192.168.212.247:9300

 

2.2、基于Docker方式实现Elasticsearch集群

注意：spring-boot-starter-data-elasticsearch必须为集群方式连接，否则情况下会报一下错误

None of the configured nodes are available

（1）

1.mkdir -p es/config
2.cd es
3.mkdir data1
4.mkdir data2
5.mkdir data3
firewall-cmd --add-port=9300/tcp
firewall-cmd --add-port=9301/tcp
6.	mkdir  plugins1
7.	mkdir  plugins2

（2）在es/config分别放入es1.yml、es2.yml：

Es1:
cluster.name: elasticsearch-cluster
node.name: es-node1
network.bind_host: 0.0.0.0
network.publish_host: 192.168.212.252
http.port: 9200
transport.tcp.port: 9300
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true 
node.data: true  
discovery.zen.ping.unicast.hosts: ["192.168.212.252:9300","192.168.212.252:9301"]
discovery.zen.minimum_master_nodes: 1

Es2:
cluster.name: elasticsearch-cluster
node.name: es-node2
network.bind_host: 0.0.0.0
network.publish_host: 192.168.212.252
http.port: 9201
transport.tcp.port: 9301
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true 
node.data: true  
discovery.zen.ping.unicast.hosts: ["192.168.212.252:9300","192.168.212.252:9301"]
discovery.zen.minimum_master_nodes: 1

（3）启动俩容器

启动容器1：

docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d  -p 9200:9200 -p 9300:9300 -p 5601:5601 -v /usr/local/es/config/es1.yml:/usr/share/elasticsearch/config/elasticsearch.yml  -v /usr/local/es/plugins1:/usr/share/elasticsearch/plugins    -v /usr/local/es/data1:/usr/share/elasticsearch/data --name ES01 elasticsearch

启动容器2：

docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d -p 9201:9201 -p 9301:9301 -v /usr/local/es/config/es2.yml:/usr/share/elasticsearch/config/elasticsearch.yml  -v /usr/local/es/plugins2:/usr/share/elasticsearch/plugins    -v /usr/local/es/data2:/usr/share/elasticsearch/data --name ES02 elasticsearch

（4）测试集群效果

http://你的IP地址:9200/_cat/nodes?pretty

 

2.3、SpringBoot整合Elasticsearch

（1）创建服务项目shop-service-goods服务接口

（2）创建商品搜索服务接口

public interface ProductSearchService {
@GetMapping("/search")
	public BaseResponse<List<ProductDto>> search(String name);
}

（3）dto实体类

@Data
public class ProductDto {

	/** 主键ID */
	private Integer id;
	/** 类型ID */
	private Integer categoryId;
	/** 名称 */
	private String name;
	/** 小标题 */
	private String subtitle;
	/** 主图像 */
	private String mainImage;
	/** 小标题图像 */
	private String subImages;
	/** 描述 */
	private String detail;
	/** 商品规格 */
	private String attributeList;
	/** 价格 */
	private Double price;
	/** 库存 */
	private Integer stock;
	/** 状态 */
	private Integer status;
	/** 乐观锁 */
	private Integer revision;
	/** 创建人 */
	private String createdBy;
	/** 创建时间 */
	private Date createdTime;
	/** 更新人 */
	private String updatedBy;
	/** 更新时间 */
	private Timestamp updatedTime;
}

（4）maven依赖

<!-- springboot 整合ES -->
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-data-elasticsearch</artifactId>
		</dependency>
		<dependency>
			<groupId>com.querydsl</groupId>
			<artifactId>querydsl-apt</artifactId>
		</dependency>
		<dependency>
			<groupId>com.querydsl</groupId>
			<artifactId>querydsl-jpa</artifactId>
		</dependency>

		<dependency>
			<groupId>ma.glasnost.orika</groupId>
			<artifactId>orika-core</artifactId>
			<version>1.5.2</version>
		</dependency>

（5）业务实现

@RestController
public class ProductSearchServiceImpl extends BaseApiService<List<ProductDto>> implements ProductSearchService {
	@Autowired
	private ProductReposiory productReposiory;

	@Override
	public BaseResponse<List<ProductDto>> search(String name) {
//1.拼接查询条件
		BoolQueryBuilder builder = QueryBuilders.boolQuery();
//2.模拟查询name字段
		builder.must(QueryBuilders.fuzzyQuery("name", name));
		Pageable pageable = new QPageRequest(0, 5);
//3.调用ES接口查询
		Page<ProductEntity> page = productReposiory.search(builder, pageable);
//4.获取集合数据
		List<ProductEntity> content = page.getContent();
		MapperFactory mapperFactory = new DefaultMapperFactory.Builder().build();
//5.将entity转换为dto
		List<ProductDto> mapAsList = mapperFactory.getMapperFacade().mapAsList(content, ProductDto.class);
		return setResultSuccess(mapAsList);
	}

}

public interface ProductReposiory extends ElasticsearchRepository<ProductEntity, Long> {

}

（6）实体

@Document(indexName = "goods", type = "goods")
@Data
public class ProductEntity {
	/** 主键ID */
	private Integer id;
	/** 类型ID */
	private Integer categoryId;
	/** 名称 */
	private String name;
	/** 小标题 */
	private String subtitle;
	/** 主图像 */
	private String mainImage;
	/** 小标题图像 */
	private String subImages;
	/** 描述 */
	private String detail;
	/** 商品规格 */
	private String attributeList;
	/** 价格 */
	private Double price;
	/** 库存 */
	private Integer stock;
	/** 状态 */
	private Integer status;

	/** 创建人 */
	private String createdBy;
	/** 创建时间 */
	private Date createdTime;

	/** 更新时间 */
	private Timestamp updatedTime;
}

（7）配置文件

###服务启动端口号
server:
  port: 8500
###服务名称(服务注册到eureka名称)  
eureka:
  client:
    service-url:
           defaultZone: http://localhost:8100/eureka


  
spring:
  application:
    name:  app-goods
  redis:
    host: redisIP地址
    port: 6379
    password: 123456
    pool:
      max-idle: 100
      min-idle: 1
      max-active: 1000
      max-wait: -1
###数据库相关连接      
  datasource:
    username: root
    password: root
    driver-class-name: com.mysql.jdbc.Driver
    url: jdbc:mysql://127.0.0.1:3306/goods?useUnicode=true&characterEncoding=UTF-
  data:
    elasticsearch:
    ####集群名称
     cluster-name: elasticsearch-cluster
    ####地址 
     cluster-nodes: IP地址:9300

2.4、Elasticsearch集成IK分词器

如果没有整合IK分词，es无法支持模糊查询

（1）ES文档类型映射

GET /goods/_mapping
DELETE  /goods
PUT /goods
POST /goods/_mapping/goods
{
      "goods": {
        "properties": {
          "@timestamp": {
            "type": "date"
          },
          "@version": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "attribute_list": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "category_id": {
            "type": "long"
          },
          "created_time": {
            "type": "date"
          },
          "detail": {
            "type": "text",
             "analyzer":"ik_smart",
            "search_analyzer":"ik_smart"

          },
          "id": {
            "type": "long"
          },
          "main_image": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "name": {
            "type": "text",
            "analyzer":"ik_smart",
            "search_analyzer":"ik_smart"

          },
          "revision": {
            "type": "long"
          },
          "status": {
            "type": "long"
          },
          "sub_images": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "subtitle": {
            "type": "text",
          "analyzer":"ik_smart",
         "search_analyzer":"ik_smart"

          },
          "updated_time": {
            "type": "date"
          }
        }
      }
}

（2）http://IP:9200/_analyze

{
  "analyzer": "ik_smart",
  "text": "苹果"
}

{
  "analyzer": "standard",
  "text": "奥迪a4l"
}

 

Hey 锡瑞
关注
  • 11
    点赞
  • 踩
  • 163
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
mysql 与 es 数据同步常见方案
JellyfishMIX 的博客
10-28 5553
这种方式能否实现秒级的数据同步，取决于 mysql 表中的数据量和用来收集数据的 sql 执行时间。当然能否真正做到秒级的数据同步，除了 sql 以外，其他环节（比如整理数据格式，传输至 es）的耗时也要考虑。优点：这种方式的好处是代码侵入性低，不需要在之前写 mysql 的地方加写 es 的代码。缺点：这种方式代码侵入性强，要在之前写 mysql 的地方加写 es 的代码。如果每秒调度一次 logstash 的脚本，就可以每秒执行一次 sql 收集 mysql 表中的数据，然后灌入 es。
logstash-input-mysql 全量和增量同步到ES
Felix_阳的博客
01-31 4537
1、数据同步方式 全量同步与增量同步 全量同步是指全部将数据同步到es，通常是刚建立es，第一次同步时使用。增量同步是指将后续的更新、插入记录同步到es。 2、常用的一些ES同步方法 1）、 elasticsearch-jdbc : 严格意义上它已经不是第三方插件。已经成为独立的第三方工具。不支持5.5.1。。。2）、elasticsearch-river-mysql插件:   https...
MySQL向Es数据同步策略
m0_68921558的博客
06-12 451
目前有有一个小项目功能落到自己手中，也是一个面试必考点。如何保证MySQL与Es、Redis等之间的数据一致性，带着大家的问题，我给提供一种解决方案（最终一致性）最后：①②是强一致性的解决方案，③④是最终一致性的解决方案。项目实战是一个漫长的过程，山高路远，道阻且长！③通过MQ异步消息推送实现，MySQL数据发生变化时向MQ发送消息。大家知道有几种保证数据一致性的解决方案呢？④通过定时任务获取MySQL中更新的数据。
es配置elk实现增量同步以及全量同步
Mazhen5255的博客
03-12 752
然后执行 /opt/logstash-7.9.3/bin/logstash -f /opt/logstash-7.9.3/config/jdbc.conf。优点 可以实时监控mysql来更新更新es数据。缺点 需要定期清理日志文件。
elasticsearch安装及logstash全量+增量异构同步指南（以mysql为例）
我的git仓库：https://github.com/daimengdewo?tab=repositories
04-23 788
最近公司打算用elasticsearch做搜索，首先当然需要同步一部分数据过去，但我在网上搜来搜去都找不到比较好的资料，要不就是方案很复杂，要不就是语焉不详，干脆就自己研究了。
Canal简介
qq_41794285的博客
11-29 985
简介 Canal：译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。 基于日志增量订阅和消费的业务包括 数据库镜像 数据...
Mysql和ES数据同步方案汇总
热门推荐
弹指天下
09-30 1万+
本文主要对Mysql和ES进行数据同步的常见方案进行了汇总说明。 1. 同步双写 2. 异步双写 3. 基于Mysql表定时扫描同步 4. 基于Binlog实时同步
项目中ES使用---并使用mq解决业务上ES与数据库的数据不一致的问题
weixin_46643875的博客
05-14 4130
概述： 1、当数据量过大时，将数据存放到es中，增加查询的效率，降低和数据库的交互。【一次性导入】 2、使用mq同步es数据，避免DB中数据和Es中的不一致。【消息队列持续同步db中的数据】 3、注意springboot和es的版本问题，不然项目一定起不来【elk6.几不支持springboot2.3点几的版本】 我用的是：springboot-2.2.10.RELEASE；es-6.4版本 关键导包 <!--集成es--> <dependency>
介绍保证数据库与ES的一致性的实现方案
2301_76297780的博客
03-07 1268
介绍保证数据库与ES的一致性的实现方案
es同步mysql方案_ES数据同步方案
weixin_30624835的博客
02-04 3816
当业务量上升后，由于mysql对全文检索或模糊查询支持的能力不强，在系统中查询的地方，往往会出现慢sql等，拖累系统其他模块，造成性能低下。随着ES使用普及率的升高，ES是mysql的一个有效补充。我们可以将数据发送到搜索引擎(如ES)上，由搜索引擎来提供专业的服务。接下来，就结合工作中实际用到的场景，对数据从mysql到es的同步进行一些分析。在实践中我总结出了以下几种方式。第1种：同步双写这是...
MySQL 与 Elasticsearch 数据不对称问题解决办法
09-09
在整合MySQL和Elasticsearch的过程中，常常会遇到数据同步不一致的问题，这主要是由于数据库的更新、删除操作未被及时反映到搜索引擎中导致的。针对这种情况，我们可以采取一系列策略来解决这种不对称问题。 首先，...
canal_mysql_elasticsearch_sync：基于canal的mysql和elasticsearch实时同步方案，支持增量同步和全量同步
02-04
基于运河的Mysql的与Elasticsearch实时同步的的JavaWeb服务。 canal是阿里巴巴mysql数据库binlog的增量订阅和消费组件。 工作原理 全量 暴露的Http接口（接口定义见 ），待调用后开启后台线程，通过主键分批同步指定...
基于canal的mysql和elasticsearch实时同步方案，支持增量同步和全量同步
最新发布
06-17
基于 *canal* 的 *Mysql* 与 *Elasticsearch* 实时同步的 *javaweb* 服务。 canal是阿里巴巴mysql数据库binlog的增量订阅&消费组件。 ## 工作原理 ### 全量 暴露Http接口 > 读取数据库会加**读锁** > 主键必须为...
基于canal的mysql和elasticsearch实时同步方案，支持增量同步和全量同步.zip
07-27
本方案详细介绍了如何利用Canal实现MySQL与Elasticsearch之间的数据双向同步，包括增量同步和全量同步。 1. **Canal介绍** Canal是基于MySQL Binlog的CDC（Change Data Capture）工具，能够实时捕获MySQL的数据...
如何保证ES和数据库的数据一致性？
zhangjiaming_zjm的博客
03-06 1595
在应用中，如果我要更新数据库了，那么久抛出一个消息出去，然后数据库和ES各自有一个监听者，监听消息之后自去做数据变更，如果失败了就基于消息的重试在重新执行。如果写数据库成功，写ES超时，实际上ES操作成功，这时候数据库会回滚，导致数据不一致。或者像之前那个方案一样，先操作数据库，然后异步通知ES去更新，这时候就可以借助本地消息表的方式来保证最终一致性了。在业务中，我们通常需要把数据库中的数据变更同步到ES中，那么如何保证数据库和ES的一致性呢？在以上逻辑中，如果写数据库成功，写ES失败，那么事务会回滚。
es与mysql之间的数据同步
LINING_GG的博客
12-07 1678
es与mysql之间的数据同步
mysql数据同步到es
qq_41999391的博客
10-27 3156
线上环境使用了logstash做mysql和es的数据同步。数据量过大时。可能会出现同步延时的问题。 一般同步方案有三种： 1：logstash等工具同步 2：数据库ES双写 3：消息机制 第一种有点low了，第二种的话双写需要入侵业务代码。第三种最为合理 于是在码云上找了个轮子https://gitee.com/OrgXxxx/SyncMysqlToElasticsearch。本地起...
记Mysql ES 数据一致性问题及方案
u014551778的博客
08-19 6520
业务中使用了mysql和ElasticSearch。Mysql作为主仓库，ES作为索引，实际上包含了接近全集的数据。 问题： Mysql和Es未做事务，出现了并非场景下： A线程从MySql读，写到ES B线程从mysql、ES删除 结果是最终ES中出现了A线程写入的数据，出现了数据不一致的问题。 解决方案： 1。 对数据加锁，但是此场景为分布式场景，需要使用redis锁，需要考虑性能开销和公平队列问题。锁的粒度要从写线程的读开始。 2。最终一致性：发生改变时，通过消息队列发送此次改变，
补充：es与mysql之间的数据同步 2
LINING_GG的博客
12-12 1132
补充：es与mysql之间的数据同步 2
同步MySQL的数据到ES,增量同步和全量同步
05-05
MySQL数据同步到ES可以采用两种方式：增量同步和全量同步。 1. 增量同步 增量同步是指只将MySQL数据库中最新的更新同步到ES中，这样可以避免每次都将所有数据进行同步，提高同步效率。实现增量同步的方式有以下几种： - 使用MySQL的binlog，监听MySQL的更新操作，将更新的数据同步到ES中。这种方式需要对MySQL进行配置，开启binlog，需要有专门的binlog解析程序实现监听和同步。 - 使用MySQL的主从复制机制，将主库中的数据同步到从库，再将从库的数据同步到ES中。这种方式比较简单，但需要维护MySQL的主从复制机制。 2. 全量同步 全量同步是指将MySQL数据库中的所有数据都同步到ES中。实现全量同步的方式有以下几种： - 使用MySQL的数据导出工具（如mysqldump），将MySQL的数据导出为文本格式，再由ES的Bulk API导入到ES中。 - 使用Logstash工具，将MySQL中的数据通过JDBC输入插件读取到Logstash中，再通过ES的输出插件输出到ES中。 无论是增量同步还是全量同步，都需要考虑MySQL和ES的版本兼容性问题，以及数据一致性和同步效率的问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值