MySQL如何实时同步数据到ES？试试这款阿里开源的神器

最新推荐文章于 2024-07-05 03:01:58 发布
最新推荐文章于 2024-07-05 03:01:58 发布
阅读量176 收藏 1
点赞数
分类专栏： Java 程序员 编程 文章标签： elasticsearch mysql 开源
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63437643/article/details/130130236
版权
Java 同时被 3 个专栏收录
1499 篇文章 21 订阅
订阅专栏
程序员
1496 篇文章 10 订阅
订阅专栏
编程
1494 篇文章 14 订阅
订阅专栏

SpringBoot实战电商项目mall（40k+star）地址：github.com/macrozheng/…

摘要

mall项目中的商品搜索功能，一直都没有做实时数据同步。最近发现阿里巴巴开源的canal可以把MySQL中的数据实时同步到Elasticsearch中，能很好地解决数据同步问题。今天我们来讲讲canal的使用，希望对大家有所帮助！

canal简介

canal主要用途是对MySQL数据库增量日志进行解析，提供增量数据的订阅和消费，简单说就是可以对MySQL的增量数据进行实时同步，支持同步到MySQL、Elasticsearch、HBase等数据存储中去。

canal工作原理

canal会模拟MySQL主库和从库的交互协议，从而伪装成MySQL的从库，然后向MySQL主库发送dump协议，MySQL主库收到dump请求会向canal推送binlog，canal通过解析binlog将数据同步到其他存储中去。

​

编辑切换为居中

添加图片注释，不超过 140 字（可选）

canal使用

接下来我们来学习下canal的使用，以MySQL实时同步数据到Elasticsearch为例。

组件下载

  • 首先我们需要下载canal的各个组件canal-server、canal-adapter、canal-admin，下载地址：https://github.com/alibaba/canal/releases

图片上传中

canal的各个组件的用途各不相同，下面分别介绍下：

  • canal-server（canal-deploy）：可以直接监听MySQL的binlog，把自己伪装成MySQL的从库，只负责接收数据，并不做处理。

  • canal-adapter：相当于canal的客户端，会从canal-server中获取数据，然后对数据进行同步，可以同步到MySQL、Elasticsearch和HBase等存储中去。

  • canal-admin：为canal提供整体配置管理、节点运维等面向运维的功能，提供相对友好的WebUI操作界面，方便更多用户快速和安全的操作。

由于不同版本的MySQL、Elasticsearch和canal会有兼容性问题，所以我们先对其使用版本做个约定。

​

编辑切换为居中

添加图片注释，不超过 140 字（可选）

MySQL配置

  • 由于canal是通过订阅MySQL的binlog来实现数据同步的，所以我们需要开启MySQL的binlog写入功能，并设置binlog-format为ROW模式，我的配置文件为/mydata/mysql/conf/my.cnf，改为如下内容即可；

 

 

[mysqld] ## 设置server_id，同一局域网中需要唯一 server_id=101 ## 指定不需要同步的数据库名称 binlog-ignore-db=mysql ## 开启二进制日志功能 log-bin=mall-mysql-bin ## 设置二进制日志使用内存大小（事务） binlog_cache_size=1M ## 设置使用的二进制日志格式（mixed,statement,row） binlog_format=row ## 二进制日志过期清理时间。默认值为0，表示不自动清理。 expire_logs_days=7 ## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。 ## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致 slave_skip_errors=1062
 

  •  
    配置完成后需要重新启动MySQL，重启成功后通过如下命令查看binlog是否启用；
     
 

 

 

show variables like '%log_bin%'
 

 

+---------------------------------+-------------------------------------+ | Variable_name | Value | +---------------------------------+-------------------------------------+ | log_bin | ON | | log_bin_basename | /var/lib/mysql/mall-mysql-bin | | log_bin_index | /var/lib/mysql/mall-mysql-bin.index | | log_bin_trust_function_creators | OFF | | log_bin_use_v1_row_events | OFF | | sql_log_bin | ON | +---------------------------------+-------------------------------------+
 

  •  
    再查看下MySQL的binlog模式；
     
 

 

 

show variables like 'binlog_format%';
 

 

+---------------+-------+ | Variable_name | Value | +---------------+-------+ | binlog_format | ROW | +---------------+-------+
 

  •  
    接下来需要创建一个拥有从库权限的账号，用于订阅binlog，这里创建的账号为canal:canal；
     
 

 

 

CREATE USER canal IDENTIFIED BY 'canal'; GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%'; FLUSH PRIVILEGES;
 

  •  
    创建好测试用的数据库canal-test，之后创建一张商品表product，建表语句如下。
     
 

 

 

CREATE TABLE `product` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `title` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL, `sub_title` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL, `price` decimal(10, 2) NULL DEFAULT NULL, `pic` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL, PRIMARY KEY (`id`) USING BTREE ) ENGINE = InnoDB AUTO_INCREMENT = 2 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;
 

canal-server使用
 

  •  
    将我们下载好的压缩包canal.deployer-1.1.5-SNAPSHOT.tar.gz上传到Linux服务器，然后解压到指定目录/mydata/canal-server，可使用如下命令解压；
     
 

 

 

tar -zxvf canal.deployer-1.1.5-SNAPSHOT.tar.gz
 

  •  
    解压完成后目录结构如下；
     
 

 

 

├── bin │ ├── restart.sh │ ├── startup.bat │ ├── startup.sh │ └── stop.sh ├── conf │ ├── canal_local.properties │ ├── canal.properties │ └── example │ └── instance.properties ├── lib ├── logs │ ├── canal │ │ └── canal.log │ └── example │ ├── example.log │ └── example.log └── plugin
 

  •  
    修改配置文件conf/example/instance.properties，按如下配置即可，主要是修改数据库相关配置；
     
 

 

 

# 需要同步数据的MySQL地址 canal.instance.master.address=127.0.0.1:3306 canal.instance.master.journal.name= canal.instance.master.position= canal.instance.master.timestamp= canal.instance.master.gtid= # 用于同步数据的数据库账号 canal.instance.dbUsername=canal # 用于同步数据的数据库密码 canal.instance.dbPassword=canal # 数据库连接编码 canal.instance.connectionCharset = UTF-8 # 需要订阅binlog的表过滤正则表达式 canal.instance.filter.regex=.*\\..*
 

  •  
    使用startup.sh脚本启动canal-server服务；
     
 

 

 

sh bin/startup.sh
 

  •  
    启动成功后可使用如下命令查看服务日志信息；
     
 

 

 

tail -f logs/canal/canal.log
 

 

2020-10-26 16:18:13.354 [main] INFO com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[172.17.0.1(172.17.0.1):11111] 2020-10-26 16:18:19.978 [main] INFO com.alibaba.otter.canal.deployer.CanalStarter - ## the canal server is running now ......
 

  •  
    启动成功后可使用如下命令查看instance日志信息；
     
 

 

 

tail -f logs/example/example.log
 

 

2020-10-26 16:18:16.056 [main] INFO c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties] 2020-10-26 16:18:16.061 [main] INFO c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties] 2020-10-26 16:18:18.259 [main] INFO c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example 2020-10-26 16:18:18.282 [main] WARN c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^.*\..*$ 2020-10-26 16:18:18.282 [main] WARN c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table black filter : ^mysql\.slave_.*$ 2020-10-26 16:18:19.543 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> begin to find start position, it will be long time for reset or first position 2020-10-26 16:18:19.578 [main] INFO c.a.otter.canal.instance.core.AbstractCanalInstance - start successful.... 2020-10-26 16:18:19.912 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - prepare to find start position just last position {"identity":{"slaveId":-1,"sourceAddress":{"address":"localhost","port":3306}},"postion":{"gtid":"","included":false,"journalName":"mall-mysql-bin.000006","position":2271,"serverId":101,"timestamp":1603682664000}} 2020-10-26 16:18:22.435 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> find start position successfully, EntryPosition[included=false,journalName=mall-mysql-bin.000006,position=2271,serverId=101,gtid=,timestamp=1603682664000] cost : 2768ms , the next step is binlog dump
 

  •  
    如果想要停止canal-server服务可以使用如下命令。
     
 

 

 

sh bin/stop.sh
 

canal-adapter使用
 

  •  
    将我们下载好的压缩包canal.adapter-1.1.5-SNAPSHOT.tar.gz上传到Linux服务器，然后解压到指定目录/mydata/canal-adpter，解压完成后目录结构如下；
     
 

 

 

├── bin │ ├── adapter.pid │ ├── restart.sh │ ├── startup.bat │ ├── startup.sh │ └── stop.sh ├── conf │ ├── application.yml │ ├── es6 │ ├── es7 │ │ ├── biz_order.yml │ │ ├── customer.yml │ │ └── product.yml │ ├── hbase │ ├── kudu │ ├── logback.xml │ ├── META-INF │ │ └── spring.factories │ └── rdb ├── lib ├── logs │ └── adapter │ └── adapter.log └── plugin
 

  •  
    修改配置文件conf/application.yml，按如下配置即可，主要是修改canal-server配置、数据源配置和客户端适配器配置；
     
 

 

 

canal.conf: mode: tcp # 客户端的模式，可选tcp kafka rocketMQ flatMessage: true # 扁平message开关, 是否以json字符串形式投递数据, 仅在kafka/rocketMQ模式下有效 zookeeperHosts: # 对应集群模式下的zk地址 syncBatchSize: 1000 # 每次同步的批数量 retries: 0 # 重试次数, -1为无限重试 timeout: # 同步超时时间, 单位毫秒 accessKey: secretKey: consumerProperties: # canal tcp consumer canal.tcp.server.host: 127.0.0.1:11111 #设置canal-server的地址 canal.tcp.zookeeper.hosts: canal.tcp.batch.size: 500 canal.tcp.username: canal.tcp.password: srcDataSources: # 源数据库配置 defaultDS: url: jdbc:mysql://127.0.0.1:3306/canal_test?useUnicode=true username: canal password: canal canalAdapters: # 适配器列表 - instance: example # canal实例名或者MQ topic名 groups: # 分组列表 - groupId: g1 # 分组id, 如果是MQ模式将用到该值 outerAdapters: - name: logger # 日志打印适配器 - name: es7 # ES同步适配器 hosts: 127.0.0.1:9200 # ES连接地址 properties: mode: rest # 模式可选transport(9300) 或者 rest(9200) # security.auth: test:123456 # only used for rest mode cluster.name: elasticsearch # ES集群名称
 

  •  
    添加配置文件canal-adapter/conf/es7/product.yml，用于配置MySQL中的表与Elasticsearch中索引的映射关系；
     
 

 

 

dataSourceKey: defaultDS # 源数据源的key, 对应上面配置的srcDataSources中的值 destination: example # canal的instance或者MQ的topic groupId: g1 # 对应MQ模式下的groupId, 只会同步对应groupId的数据 esMapping: _index: canal_product # es 的索引名称 _id: _id # es 的_id, 如果不配置该项必须配置下面的pk项_id则会由es自动分配 sql: "SELECT p.id AS _id, p.title, p.sub_title, p.price, p.pic FROM product p" # sql映射 etlCondition: "where a.c_time>={}" #etl的条件参数 commitBatch: 3000 # 提交批大小
 

  •  
    使用startup.sh脚本启动canal-adapter服务；
     
 

 

 

sh bin/startup.sh
 

  •  
    启动成功后可使用如下命令查看服务日志信息；
     
 

 

 

tail -f logs/adapter/adapter.log
 

 

20-10-26 16:52:55.148 [main] INFO c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Load canal adapter: logger succeed 2020-10-26 16:52:57.005 [main] INFO c.a.o.c.client.adapter.es.core.config.ESSyncConfigLoader - ## Start loading es mapping config ... 2020-10-26 16:52:57.376 [main] INFO c.a.o.c.client.adapter.es.core.config.ESSyncConfigLoader - ## ES mapping config loaded 2020-10-26 16:52:58.615 [main] INFO c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Load canal adapter: es7 succeed 2020-10-26 16:52:58.651 [main] INFO c.alibaba.otter.canal.connector.core.spi.ExtensionLoader - extension classpath dir: /mydata/canal-adapter/plugin 2020-10-26 16:52:59.043 [main] INFO c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Start adapter for canal-client mq topic: example-g1 succeed 2020-10-26 16:52:59.044 [main] INFO c.a.o.canal.adapter.launcher.loader.CanalAdapterService - ## the canal client adapters are running now ...... 2020-10-26 16:52:59.057 [Thread-4] INFO c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - =============> Start to connect destination: example <============= 2020-10-26 16:52:59.100 [main] INFO org.apache.coyote.http11.Http11NioProtocol - Starting ProtocolHandler ["http-nio-8081"] 2020-10-26 16:52:59.153 [main] INFO org.apache.tomcat.util.net.NioSelectorPool - Using a shared selector for servlet write/read 2020-10-26 16:52:59.590 [main] INFO o.s.boot.web.embedded.tomcat.TomcatWebServer - Tomcat started on port(s): 8081 (http) with context path '' 2020-10-26 16:52:59.626 [main] INFO c.a.otter.canal.adapter.launcher.CanalAdapterApplication - Started CanalAdapterApplication in 31.278 seconds (JVM running for 33.99) 2020-10-26 16:52:59.930 [Thread-4] INFO c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - =============> Subscribe destination: example succeed <=============
 

  •  
    如果需要停止canal-adapter服务可以使用如下命令。
     
 

 

 

sh bin/stop.sh
 

数据同步演示
 

 
 
经过上面的一系列步骤，canal的数据同步功能已经基本可以使用了，下面我们来演示下数据同步功能。
 

 

  •  
    首先我们需要在Elasticsearch中创建索引，和MySQL中的product表相对应，直接在Kibana的Dev Tools中使用如下命令创建即可；
     
 

 

 

PUT canal_product { "mappings": { "properties": { "title": { "type": "text" }, "sub_title": { "type": "text" }, "pic": { "type": "text" }, "price": { "type": "double" } } } }
 

 

 

​
 

编辑切换为居中
 

添加图片注释，不超过 140 字（可选）
 

 

  •  
    创建完成后可以查看下索引的结构；
     
 

 

 

GET canal_product/_mapping
 

 

 

​
 

编辑切换为居中
 

添加图片注释，不超过 140 字（可选）
 

 

  •  
    之后使用如下SQL语句在数据库中创建一条记录；
     
 

 

 

INSERT INTO product ( id, title, sub_title, price, pic ) VALUES ( 5, '小米8', ' 全面屏游戏智能手机 6GB+64GB', 1999.00, NULL );
 

  •  
    创建成功后，在Elasticsearch中搜索下，发现数据已经同步了；
     
 

 

 

GET canal_product/_search
 

 

 

​
 

编辑切换为居中
 

添加图片注释，不超过 140 字（可选）
 

 

  •  
    再使用如下SQL对数据进行修改；
     
 

 

 

UPDATE product SET title='小米10' WHERE id=5
 

  •  
    修改成功后，在Elasticsearch中搜索下，发现数据已经修改了；
     
 

 

 

​
 

编辑切换为居中
 

添加图片注释，不超过 140 字（可选）
 

 

  •  
    再使用如下SQL对数据进行删除操作；
     
 

 

 

DELETE FROM product WHERE id=5
 

  •  
    删除成功后，在Elasticsearch中搜索下，发现数据已经删除了，至此MySQL同步到Elasticsearch的功能完成了！
     
 

 

 

​
 

编辑切换为居中
 

添加图片注释，不超过 140 字（可选）
 

 

canal-admin使用
 

  •  
    将我们下载好的压缩包canal.admin-1.1.5-SNAPSHOT.tar.gz上传到Linux服务器，然后解压到指定目录/mydata/canal-admin，解压完成后目录结构如下；
     
 

 

 

├── bin │ ├── restart.sh │ ├── startup.bat │ ├── startup.sh │ └── stop.sh ├── conf │ ├── application.yml │ ├── canal_manager.sql │ ├── canal-template.properties │ ├── instance-template.properties │ ├── logback.xml │ └── public │ ├── avatar.gif │ ├── index.html │ ├── logo.png │ └── static ├── lib └── logs
 

  •  
    创建canal-admin需要使用的数据库canal_manager，创建SQL脚本为/mydata/canal-admin/conf/canal_manager.sql，会创建如下表；
     
 

 

 

​
 

编辑切换为居中
 

添加图片注释，不超过 140 字（可选）
 

 

修改配置文件conf/application.yml，按如下配置即可，主要是修改数据源配置和canal-admin的管理账号配置，注意需要用一个有读写权限的数据库账号，比如管理账号root:root；
 

 

 

server: port: 8089 spring: jackson: date-format: yyyy-MM-dd HH:mm:ss time-zone: GMT+8 spring.datasource: address: 127.0.0.1:3306 database: canal_manager username: root password: root driver-class-name: com.mysql.jdbc.Driver url: jdbc:mysql://${spring.datasource.address}/${spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=false hikari: maximum-pool-size: 30 minimum-idle: 1 canal: adminUser: admin adminPasswd: admin
 

  •  
    接下来对之前搭建的canal-server的conf/canal_local.properties文件进行配置，主要是修改canal-admin的配置，修改完成后使用sh bin/startup.sh local重启canal-server：
     
 

 

 

# register ip canal.register.ip = # canal admin config canal.admin.manager = 127.0.0.1:8089 canal.admin.port = 11110 canal.admin.user = admin canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441 # admin auto register canal.admin.register.auto = true canal.admin.register.cluster = 使用startup.sh脚本启动canal-admin服务；
 

  •  
    使用startup.sh脚本启动canal-admin服务；
     
 

 

 

sh bin/startup.sh
 

  •  
    启动成功后可使用如下命令查看服务日志信息；
     
 

 

 

启动成功后可使用如下命令查看服务日志信息；
 

 

020-10-27 10:15:04.210 [main] INFO org.apache.coyote.http11.Http11NioProtocol - Starting ProtocolHandler ["http-nio-8089"] 2020-10-27 10:15:04.308 [main] INFO org.apache.tomcat.util.net.NioSelectorPool - Using a shared selector for servlet write/read 2020-10-27 10:15:04.534 [main] INFO o.s.boot.web.embedded.tomcat.TomcatWebServer - Tomcat started on port(s): 8089 (http) with context path '' 2020-10-27 10:15:04.573 [main] INFO com.alibaba.otter.canal.admin.CanalAdminApplication - Started CanalAdminApplication in 31.203 seconds (JVM running for 34.865)
 

  •  
    访问canal-admin的Web界面，输入账号密码admin:123456即可登录，访问地址：http://192.168.3.101:8089
     
 

 

 

​
 

编辑切换为居中
 

添加图片注释，不超过 140 字（可选）
 

 

  •  
    登录成功后即可使用Web界面操作canal-server。
     
 

 

 

​
 

编辑切换为居中
 

添加图片注释，不超过 140 字（可选）
 

 

 

参考资料
 

 
 
canal官方文档： https://github.com/alibaba/canal/wiki
 

 

 

配置文件地址
 

 
 
github.com/macrozheng/…
 
 

     资源获取： 
  
 大家 
  点赞、收藏、关注、评论啦 、 
  查看👇🏻👇🏻👇🏻 
  微信公众号获取联系方式👇🏻👇🏻👇🏻 
  
 
  精彩专栏推荐订阅：在 
  下方专栏👇🏻👇🏻👇🏻👇🏻 
  
 
  每天学四小时：Java+Spring+JVM+分布式高并发，架构师指日可待 
 
 
 
 


                

        

        

        

    

  


    

      

        

            

              
                
                  写代码的珏秒秒
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
基于Logstash由SQLServer向Elasticsearch同步数据：环境准备【SQL Server data to Elasticsearch using LogStash】

				
			

			

				

					iOS逆向与安全
				

				

					03-14
					
					769
					
				

			

		

		

			
				
整体介绍文档：https://docs.microsoft.com/en-us/sql/relational-databases/track-changes/about-change-tracking-sql-server?elasticsearch-head 则是一款开源的ElasticSearch管理界面，它的项目主页为：https://github.com/mobz/elasticsearch-head。英文差的朋友可以把URL中的en-us改成zh-cn来看中文的文档。

			
		

	



                

              
                



	

		

			

				
					
阿里巴巴开源的15个顶级Java项目

				
			

			

				

					Java_zhujia的博客
				

				

					12-10
					
					604
					
				

			

		

		

			
				
上个周末抽时间整理了一些阿里开源的一些 Java 开源项目，希望对大家有帮助！这篇文章收录的所有开源项目都是还在继续维护并且可以使用的。虽然有部分项目不是那么”完美“，但是依然非常值得我们学习。

			
		

	



                


  
              

                


	

		

			

				
					
elasticsearch进行mysql同步的安装工具

				
			

			

				

					10-09
				

			

		

		

			
				
elasticsearch-2.3.2.tar.gz和elasticsearch-jdbc-2.3.2.0-dist.zip，可以进行mysql数据库数据同步到es中，亲测有效。详见博客http://www.cnblogs.com/zhongshengzhen/

			
		

	





	

		

			

				
					
mysql到es数据同步

				
			

			

				

					u011197085的博客
				

				

					04-27
					
					537
					
				

			

		

		

			
				
因此，Canal主要关注的是MySQL的数据变更，而不是原始数据。请注意，在执行这些操作时，为了确保数据的一致性，应该在适当的时间点（例如，在全量导入完成后）启动Canal。全量导入：在启动Canal之前，可以使用一次性数据导入工具（如Logstash的jdbc-input插件、DataX等）将MySQL表中的现有数据导入到Elasticsearch中。总之，要将MySQL表中的以前的数据同步到Elasticsearch，需要先使用全量导入工具导入现有数据，然后使用Canal来同步后续的增量数据。

			
		

	



		

			
		



	

		

			

				
					
mysql数据量大如何迁移到es

					
最新发布

				
			

			

				

					weixin_40389582的博客
				

				

					07-05
					
					99
					
				

			

		

		

			
				
从MySQL迁移大量数据到Elasticsearch的解决方案
在实际开发中，我们经常遇到需要将MySQL中的大量数据迁移到Elasticsearch的情况。Elasticsearch是一个强大的分布式搜索引擎，适用于存储和分析海量数据。本文将介绍如何高效地将MySQL中的数据迁移到Elasticsearch，并给出一个示...

			
		

	





	

		

			

				
					
Mysql同步数据到ElasticSearch,ES单表，多表同步

				
			

			

				

					qq_45391373的博客
				

				

					04-01
					
					1415
					
				

			

		

		

			
				
Mysql同步数据到ElasticSearch,ES单表，多表同步
多表同步：
1、安装logstash-input-jdbc插件
参考链接：https://blog.csdn.net/chenguihua5/article/details/90316484
建议先看参考连接
按照链接换源之后操作步骤：
在logstash 目录下
cd bin
./logstash-plugin install ...

			
		

	





	

		

			

				
					
使用Logstash同步mysql数据到Elasticsearch（亲自踩坑）_将mysql中的数据导入es搜索引擎利用logstash(2)

				
			

			

				

					2401_84181070的博客
				

				

					04-15
					
					1023
					
				

			

		

		

			
				
⚠️原因：mysql 中的字段 ‘birth_date’ 数据格式为 2000-09-15，通过LogStash导数据时 格式变为 2000-09-14T16:00:00.000Z而ES索引类型要求的格式为 ：yyyy-MM-dd所以报错；⚠️原因：数据库表中的sex字段，字段类型为tinyint，Logstash会转成boolean，但是ES中设置的也是int类型，所以你懂的。恭喜你🎉🎉🎉，到这你已经成功3/4啦，接下来进入到最重要，同时99%会报错的最后一步，加油⛽️。

			
		

	





	

		

			

				
					
绝了！又一款阿里开源的神器，直接将MySQL数据实时同步到ES，不愧是我大哥！

				
			

			

				

					QAQFyl的博客
				

				

					11-05
					
					572
					
				

			

		

		

			
				
摘要

mall项目中的商品搜索功能，一直都没有做实时数据同步。最近发现阿里巴巴开源的canal可以把MySQL中的数据实时同步到Elasticsearch中，能很好地解决数据同步问题。今天我们来讲讲canal的使用，希望对大家有所帮助！

canal简介

canal主要用途是对MySQL数据库增量日志进行解析，提供增量数据的订阅和消费，简单说就是可以对MySQL的增量数据进行实时同步，支持同步到MySQL、Elasticsearch、HBase等数据存储中去。

canal工作原理

canal会模拟M

			
		

	





	

		

			

				
					
基于MySql,Redis,Mq,ES的高可用方案解析

				
			

			

				

					m0_71777195的博客
				

				

					07-31
					
					1238
					
				

			

		

		

			
				
本片文章主要是分析当下不同应用场景下的几个主流系统的高可用策略，来看一下如何来保障的系统的高可用常见的高可用思路冗余（如数据副本、主备服务等）拆分（数据拆分、服务能力拆分等）持久化redis持久化RDB数据落盘加载方式+AOF记录操作命令用于回放策略主从，主从从全量数据冗余、读写请求分离，负载均衡的思想；核心问题在于主节点挂掉之后需要人工参与手动指定主库哨兵机制PING/PONG的探活机制，监听主节点，宕机之后自动选主，确保高可用；httpshttpshttps。...

			
		

	





	

		

			

				
					
mysql数据导入elasticsearch并支持SQL查询

				
			

			

				

					03-02
				

			

		

		

			
				
支持定时任务导入mysql数据到elasticsearch
支持SQL语句查询elasticsearch，提供dubbo服务接口
定时任务支持quartz与lts方式

			
		

	





	

		

			

				
					
mysql导入es工具_GitHub - bbossgroups/db-elasticsearch-tool: 一个数据库导入Elasticsearch工具，支持的数据库： mysql,maridb，...

				
			

			

				

					weixin_42452460的博客
				

				

					01-30
					
					368
					
				

			

		

		

			
				
数据同步工具通过本工具可以非常方便地实现数据库和Elasticsearch之间的数据同步功能，数据库与数据库之间的数据同步功能Bboss is a good elasticsearch Java rest client. It operates and accesses elasticsearch in a way similar to mybatis.BBoss Environmental re...

			
		

	





	

		

			

				
					
mysql导入es_mysql数据导入es

				
			

			

				

					weixin_32786041的博客
				

				

					01-19
					
					2637
					
				

			

		

		

			
				
1，py-mysql-elasticsearch-sync《github 工具》简介：python版本的mysql导入es的插件通过配置config.yaml文件，该插件可以将mysql的数据导入到es中。使用：es-sync config.xml程序流程：思路为：1分析mysqldump导出数据  - > 2分析binlog该插件，首先会执行mysqldump指令，将mysql中...

			
		

	





	

		

			

				
					
MySQL数据同步ES的4种方法，你能想到几种？

				
			

			

				

					三分恶的博客
				

				

					01-14
					
					2793
					
				

			

		

		

			
				
大家好，我是老三，这期给大家分享一个电商中常见的场景——MySQL数据同步Elasticsearch。大家应该都在各种电商网站检索过商品，那么检索商品一般都是通过什么实现呢？搜索引擎Elasticsearch。那么问题来了，商品上架，数据一般写入到MySQL的数据库中，那么用于检索的数据又是怎么同步到Elasticsearch的呢？

			
		

	





	

		

			

				
					
java程序中hive数据推送es_Hive表数据同步到es

				
			

			

				

					weixin_42515331的博客
				

				

					02-27
					
					992
					
				

			

		

		

			
				
1.首先服务器节点，进入到对应的数据库。2. 然后找到要同步的表，show create table + 表名查看一下或者自己可以新建一个表，用来测试原表，如下CREATE TABLE`wb_tmp`(`surface` string,`radiation` string,`loader_id` string)ROW FORMAT DELIMITEDFIELDS TERMINATEDBY ','S...

			
		

	





	

		

			

				
					
ES 同步mysql 数据

				
			

			

				

					沉在水底的鱼的博客
				

				

					04-10
					
					1621
					
				

			

		

		

			
				
下载logstash-6.7.0工具

在config 文件夹新建 mysql.conf

input {
  jdbc {
    jdbc_driver_library => "D:/logstash-6.7.0/bin/mysqldriver/mysql-connector-java-5.1.47.jar"
    jdbc_driver_class => "...

			
		

	





	

		

			

				
					
Echarts动态绑定数据库的笔记

				
			

			

				

					qq_63720982的博客
				

				

					09-04
					
					279
					
				

			

		

		

			
				
sdks = ['首单款数', item2[5], item2[6], item2[7], item2[8]]sdsl = ['首单数量', item2[5], item2[6], item2[7], item2[8]]bdks = ['补单款数', item2[5], item2[6], item2[7], item2[8]]bdsl = ['补单数量', item2[5], item2[6], item2[7], item2[8]]// 获取该行的数据单元格（td）

			
		

	





	

		

			

				
					
4 种 MySQL 同步 ES 方案，yyds！

				
			

			

				

					Park33的博客
				

				

					05-30
					
					518
					
				

			

		

		

			
				
在实际项目开发中，我们经常将 MySQL 作为业务数据库，ES 作为查询数据库，用来实现读写分离，缓解 MySQL 数据库的查询压力，应对海量数据的复杂查询。这其中有一个很重要的问题，就是如何实现 MySQL 数据库和 ES 的数据同步，今天和大家聊聊 MySQL 和 ES 数据同步的各种方案。我们先看看下面 4 种常用的数据同步方案。

			
		

	





	

		

			

				
					
Python简易教程：MySQL数据实时同步至Elasticsearch

				
			

			

				

					
				

			

		

		

			
				
这篇教程提供了一个基础且易于理解的方法，让开发者快速实现MySQL到Elasticsearch的数据同步，特别适合那些对高级MySQL功能不熟悉，或者对数据实时性有较高要求的场景。通过使用Python编程和SQL查询，用户可以根据...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值