elasticsearch-6.5.3 + logstash-6.5.4+elasticsearch-head-master环境搭建实现数据同步（window版）

本文链接：https://blog.csdn.net/huangxingjie/article/details/106092433

简介：

本文使用的是elasticsearch-6.5.3 + logstash-6.5.4 + elasticsearch-head-master，集成springboot.

前提：需要有java环境。jdk1.8

elasticsearch-6.5.3下载地址

提取码：8mqt

安装步骤：

1. 下载好elasticsearch-6.5.3后，解压。

2. cmd进入到elasticsearch-6.5.3\bin

3. 启动命令：elasticsearch

4. 浏览器访问：http://127.0.0.1:9200/显示如下表示启动成功（默认端口9200）

{
  "name" : "node-1",
  "cluster_name" : "my-application",
  "cluster_uuid" : "VgHnYEPRRxWmhmsrazWGEA",
  "version" : {
    "number" : "6.5.3",
    "build_flavor" : "default",
    "build_type" : "zip",
    "build_hash" : "159a78a",
    "build_date" : "2018-12-06T20:11:28.826501Z",
    "build_snapshot" : false,
    "lucene_version" : "7.5.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

logstash-6.5.4下载地址

提取码：n5ij

说明：logstash是一个让数据库数据同步到elasticsearch的工具

安装步骤：

1. 解压到指定的目录

2. 进入到logstash-6.5.4\bin，新建一个talknew.sql文件，编辑器打开，写入需要同步数据库的表查询语句。如下

SELECT * FROM talk

3. 找到同步目录下的 logstash.conf右键编辑器打开。修改如下内容：

input {
    stdin {
    
    }
    jdbc {
	  type => "talk"
       # mysql 数据库链接,mybatis为数据库名
      jdbc_connection_string => "jdbc:mysql://rm-wz96e98j4brgxo0bd2o.mysql.rds.aliyuncs.com:3306/emotion_test?useUnicode=true&useSSL=false&characterEncoding=utf8&serverTimezone=UTC&allowPublicKeyRetrieval=true"
      # 用户名和密码
      jdbc_user => "emotion"
      jdbc_password => "emotion2020_"
      # 驱动 修改为mysql连接包位置
      jdbc_driver_library => "D:/tool/elasticsearch/logstash-6.5.4/bin/bin/mysql-connector-java-8.0.19.jar"
      # 驱动类名
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      # 执行的sql 文件路径+名称 
      statement_filepath => "D:/tool/elasticsearch/logstash-6.5.4/bin/talkselect.sql"
      # 设置监听间隔  各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
      schedule => "* * * * *"
    }
	
}

filter {
  mutate {
        remove_field => ["@timestamp","@version","create_time","update_time"]

  }
}

output {
	if[type]=="talk"{
	    elasticsearch {
			# ES的IP地址及端口
			hosts => ["localhost:9200"]
			# 索引名称 可自定义
			index => "talkindex"
			# 需要关联的数据库中有有一个id字段，对应类型中的id
			document_id => "%{talk_id}"
			document_type => "%{type}"
		}
	}

    stdout {
        # JSON格式输出
        codec => json_lines
    }
}

4. 启动命令：cmd进入到当前目录（logstash-6.5.4\bin）执行logstash -f logstash.conf

多个表同步到elasticsearch参考地址

elasticsearch-head-master下载地址

提取码：x9zl

说明：elasticsearch-head-master是一个连接elasticsearch的图形化工具，需要node.js环境

1.解压

2. cmd命令进入到根目录elasticsearch-head-master/，执行命令：npm install

3. 启动：npm run start

4.浏览器访问：http://127.0.0.1:9100/ 默认端口9100