1.go-mysql-elasticsearch简介
go-mysql-elasticsearch是一个将MySQL数据自动同步到Elasticsearch的服务。
它首先使用mysqldump获取原始数据,然后用binlog增量地同步数据。
github地址:https://github.com/siddontang/go-mysql-elasticsearch
这里有几点注意事项:
- 1.Mysql的binlog必须是ROW模式,不然启动会报错。
- 2.连接Mysql的用户权限需要大一些。
2.安装
2.1 安装go
安装go
yum install -y go
安装godep
go get github.com/tools/godep
下载go-mysql-elastisearch插件
go get github.com/siddontang/go-mysql-elasticsearch
进入对应目录,比如我使用的如下目录/root/go/src/github.com/siddontang/go-mysql-elasticsearch
cd /root/go/src/github.com/siddontang/go-mysql-elasticsearch
编译
make
2.2 Mysql开启binlog
接下来需要在mysql中开启binlog,首先查询一下是否开启了binlog。
进入mysql
mysql -uroot -p
输入密码,然后输入如下命令查看binlog开启状态
show variables like '%log_bin%';
如图所示,ON为开启了,如果没有开启的话为OFF。
![425ad8793349fc7fe458da3e37725554.png](https://i-blog.csdnimg.cn/blog_migrate/2839ce5c135fd5a0f9c50dc6b717f56d.jpeg)
如果没有开启的话,需要在my.cnf配置中添加如下配置(其中server-id可以根据情况设置,这里设置为1,log-bin为日志位置,一定要给日志写的权限,不然会报错,binlog_format为模式,这里必须为ROW):
server-id=1log-bin=/usr/local/mysql-log/mysql-bin.logbinlog_format="ROW"
设置完成后重启mysql.
service mysqld restart
如图重启成功,如果失败可以查看一下错误日志,这里不做过多介绍。
![dfdebb48255a9720ea2e7288b22ca290.png](https://i-blog.csdnimg.cn/blog_migrate/1db1ed9cfebeaab0cf241615fa6d3970.jpeg)
3.配置go-mysql-elasticsearch
需要配置一下go-mysql-elasticsearch,样例在:https://github.com/siddontang/go-mysql-elasticsearch/blob/master/etc/river.toml
本文测试的配置文件内容如下:
# MySQL 配置:地址,用户名,密码my_addr = "ip:3306" my_user = "root"my_pass = "***"# Elasticsearch地址es_addr = "ip:端口" # 存储数据的位置data_dir = "./var" # Inner Http status addressstat_addr = "127.0.0.1:12800" # pseudo server id like a slaveserver_id = 1001 # mysql or mariadbflavor = "mysql" # mysql备份文件,如果不设置或设置为空,则跳过# mysqldump = "mysqldump" # minimal items to be inserted in one bulkbulk_size = 128 # force flush the pending requests if we don't have enough items >= bulk_sizeflush_bulk_time = "200ms" # Ignore table without primary keyskip_no_pk_table = false # MySQL数据源,schema:数据库,tables:表[[source]]schema = "test"tables = ["link_info"][[rule]]schema = "test"table = "link_info"index = "test_mysql2"type = "link_info"
4.运行go-mysql-elasticsearch
配置完成后,运行go-mysql-elasticsearch
bin/go-mysql-elasticsearch -config=river.toml
如图所示运行成功。
![7692e2aa1eed93338af08f672a7e31f0.png](https://i-blog.csdnimg.cn/blog_migrate/cc5feaa9886157028dad210d4fd5e3b5.jpeg)
5.检验
查看es-head,如图
![e798d6f407c3abbf55c540cf9cfd1115.png](https://i-blog.csdnimg.cn/blog_migrate/a33b43bc8087c50450d66d77125411e3.jpeg)
数据都存在,然后修改id为5的数据,查看go-mysql-elasticsearch控制台,果然监听到了变化,如图
![4b177bce35f607dbf6f50ecc4de5b7fd.png](https://i-blog.csdnimg.cn/blog_migrate/076566fab422c79a6f9ee9c900d0bdfc.jpeg)
在次查看es-head,如图,数据也变化了。
![ee0c6e916f48aa9645460a10106c4139.png](https://i-blog.csdnimg.cn/blog_migrate/bf89fb8e32ddc73e6a43c7601a618158.jpeg)
6.总结
由于没上过生产,所以只对我个人测试使用进行评价,安装上和数据同步感觉很友好,因为结合binlog的原因,可以实现同步增删改。对于网上说的日志很少和不成熟等说法,这里不评价。