ElasticSearch（1）---Mysql同步数据到ElSearch

ElasticSearch同步Mysql

先讲项目需求：对于资讯模块添加搜索功能

这个搜索功能我就是采用ElasticSearch实现的，功能刚实现完，所以写这篇博客做个记录，让自己在记录下整个步骤和过程中的一些注意事项。

 

一、安装elasticsearch和可视化工具

有关整个教程参考：mac安装elasticsearch和可视化工具

1、安装elasticsearch

网址地址：官网

2、安装elasticsearch-head（可视化界面）

安装地址：https://github.com/mobz/elasticsearch-head

3、安装Node.js

安装地址：Mac 下安装node.js

4、grunt-cli（3、4主要配合2实现可视化界面）

命令：sudo npm install -g grunt-cli （我的是安装在Mac上，所以其它不一定适用其它）

在终端运行: grunt --version（成功QQ图）

5、elasticsearch和elasticsearch-head整合

修改 elasticsearch.yml 文件，在文档的最末端加入

http.cors.enabled: true
http.cors.allow-origin: "*"

查看查看结果：输入：localhost:9100

这里说明整个已经安装成功并已经连接成功，green代表很健康

 

二、安装logstash并同步MySQL数据库

 相关博客推荐：安装logstash并同步MySQL数据库

1、下载logstash

注意：下载的版本要和你的elasticsearch的版本号一致，我的版本elasticsearch6.3.2

2、配置logstash-jdbc-input

据说2.x以上就不用配置了，不过我还是配置了

3、添加mysql-connector驱动jar包

把这个jar包放入logstash中：mysql-connector-java-5.1.21.jar

4、添加配置文件（用于连接elasticsearch和mysql数据库）很重要！

具体的解释推荐博客：logstash input jdbc连接数据库

mysql.yml

5、启动logstash

#我这里的mysql.yml放到了bin的上层目录
./logstash -f ../mysql.yml

6、实际效果

连接成功，已经成功把MySQL数据库表中的数据存储到Elasticsearch中，并且logstash每一分钟去数据库读取最新数据。

最后看下我的logstash文件存放位置

 

三、坑和注意事项的总结  

1、如下报错说明没有找到你的mysql-connectorjar包，很可能你的jar没有放到配置文件指定的目录。 

2、需要重新让查询从0开始。

那就删除last_run_metadata_path => "news"的news文件，当然也要记得删除该索引好让它重新读取数据库表中数据。

相关其它坑博客地址：坑的总结

再遇到其它相关坑，百度吧，都能快速找到答案。

 

 我只是偶尔安静下来，对过去的种种思忖一番。那些曾经的旧时光里即便有过天真愚钝，也不值得谴责。毕竟，往后的日子，还很长。不断鼓励自己，

 天一亮，又是崭新的起点，又是未知的征程（上校4）