将 MySQL 8.0 的数据实时同步到 Elasticsearch 7

Canal 是阿里巴巴开源的一个用于 MySQL 数据库增量订阅和消费的项目，用于将 MySQL 的增量数据实时传输到 Elasticsearch、HBase、HDFS 等各种数据存储系统中。Canal 的基本原理是模拟 MySQL Slave 的交互协议，伪装自己为 MySQL Slave，向 MySQL Master 发送 dump 协议，并解析 MySQL 的 binlog。

以下是将 MySQL 8.0 的数据实时同步到 Elasticsearch 7 的基本步骤：

1. 安装和配置 MySQL：确保在 MySQL 中已经开启了 binlog 并且使用 row 模式，同时设置 server_id。这些可以在 MySQL 的配置文件(my.cnf)中设置：

   [mysqld]
   log-bin=mysql-bin # 开启 binlog
   binlog-format=ROW # 选择 row 模式
   server_id=1 # 设置 MySQL replaction 的 server_id，不能和其他的 MySQL server_id 重复
   

2. 安装 Canal Server：从 GitHub 上下载并解压 Canal 的最新版本，然后修改 conf/example/instance.properties 文件以配置 Canal，主要是指定数据库地址、用户名和密码。你可能需要修改以下参数：

   canal.instance.master.address = 127.0.0.1:3306
   canal.instance.dbUsername = canal
   canal.instance.dbPassword = canal
   canal.instance.connectionCharset = UTF-8
   canal.instance.tsdb.enable = true
   

3. 运行 Canal Server：在 Canal 的安装目录下，运行以下命令启动 Canal Server：

   ./bin/startup.sh
   

4. 安装 Canal Adapter：同样从 GitHub 下载并解压 Canal Adapter 的最新版本。然后修改 conf/application.yml 文件以配置 Canal Adapter，主要是指定 Canal Server 的地址和端口，以及 Elasticsearch 的地址和端口。你可能需要修改以下参数：

   canal.conf:
     canalServerHost: 127.0.0.1:11111
     srcDataSources:
       defaultDS:
         url: jdbc:mysql://127.0.0.1:3306/your-database?useUnicode=true
         username: canal
         password: canal
     canalAdapters:
       - instance: default # canal instance Name
         groups:
           - groupId: g1
             outerAdapters:
               - name: es
                 hosts: 127.0.0.1:9300
                 properties:
                   mode: transport
                   # security.auth: test:123456 #  only used for es security
                   cluster.name: elasticsearch
   

5. 运行 Canal Adapter：在 Canal Adapter 的安装目录下，运行以下命令启动 Canal Adapter：

   ./bin/startup.sh
   

通过以上步骤，你应该可以实现 MySQL 8.0 到 Elasticsearch 7 的数据实时同步了。需要注意的是，这只是基本的步骤，你可能还需要进行更多的配置以满足你的实际需求。例如，你可能需要配置数据过滤规则、映射

为了实时地将 MySQL 的数据同步到 Elasticsearch，你需要按照以下步骤操作：

1. 准备环境：为了避免兼容性问题，需要确保你的系统中的 MySQL、Elasticsearch 和 Canal 的版本能够兼容。这里我们使用的版本是：MySQL 8.0，Elasticsearch 7.16.2，Canal 1.1.5，JDK 1.8.0【8†source】。

2. 安装 Elasticsearch：根据你的需要下载 Elasticsearch 的版本，这里我们使用的是 7.16.2 版本。下载后将 elasticsearch-7.16.2-windows-x86_64.zip 解压到本地路径，然后进入 \elasticsearch-7.16.2\config 路径，修改 elasticsearch.yml 文件。设置 Elasticsearch 的账户密码，开启 Elasticsearch 服务并进行验证【9†source】【10†source】。

3. 安装 Kibana：同样的，根据你的需要下载 Kibana 的版本，这里我们使用的是 7.16.2 版本。下载后将 kibana-7.16.2-windows-x86_64.zip 解压到本地目录，然后进入 \kibana-7.16.2\config 路径，修改 kibana.yml 文件。开启 Kibana 服务并进行验证【11†source】【12†source】。

4. 安装 Canal：下载 Canal 版本 1.1.5，解压到本地目录。修改 canal.properties 和 example/instance.properties 的配置信息，启动 Canal【13†source】【14†source】。

5. 安装 MySQL：下载并安装 MySQL，导入数据【15†source】。

然后你需要创建 MySQL 连接 Canal，这样你就可以通过 Canal 将 MySQL 的数据实时同步到 Elasticsearch 中了

遗憾的是，由于时间关系，我未能找到 Canal Adapter 的详细配置步骤。你可能需要在网上搜索一下如何配置 Canal Adapter 来将 MySQL 数据映射到 Elasticsearch 的索引上。

Canal 提供了表过滤功能，可以通过配置 canal.instance.filter.regex 选项来指定 Canal 应该同步哪些表的数据。如果你只想同步 card_dtl 这一个表，那么你可以将 canal.instance.filter.regex 配置为 .*\\..* 更改为你的数据库名与表名，如 your_database\\.card_dtl。下面是具体的步骤：

1. 打开你 Canal 的 instance.properties 文件，这个文件通常位于 Canal 安装目录下的 conf 文件夹中。
2. 找到 canal.instance.filter.regex 这一行。
3. 将 .*\\..* 修改为 your_database\\.card_dtl，其中 your_database 是你的数据库名。

注意：在这个配置选项中，. 和 \ 都是正则表达式中的特殊字符，所以需要使用 \\ 来表示一个 \，\\. 来表示一个 .。

完成上述步骤后，Canal 就只会同步 your_database 数据库中的 card_dtl 表的数据了。