记录一次使用logstash将MySQL的数据同步至ElasticSearch

起因前几天了解到阿里出的canal可以将MySQL的数据通过伪装成从节点读取binlog的形式将数据进行增量更新,但是我今天在试验的时候失败了,也不知道是为什么,可能是版本的问题

本次操作logstash与es的版本为7.15.1,操作平台为window10,mysql装在虚拟机里

首先来看mysql的表设计,id为唯一主键,剩下的cname和sex均为varchar

然后在es中创建索引

PUT /mytest_user
{
  "settings": {
		"number_of_shards": 1,
		"number_of_replicas": 1
	},
  "mappings": {
    "properties": {
      "name": {
        "type": "text"
      },
      "sex": {
        "type": "text"
      }
    }
  }
}

然后打开logstash的目录