ElasticSerach初探第一篇 - 认识ES+环境搭建+简单MySQL数据同步+SpringBoot整合ES

一、认识ElasticSearch

是一个基于Lucene的开源搜索引擎，通过简单的RESTful API来隐藏Lucene的复杂性。全文搜索，分析系统，分布式数据库；elasticsearch的革命性就在于将这些单一的有用的技术整合成一个一体化的”实时的应用”。

 

二、ElasticSearch环境搭建

1.安装ElasticSearch

从官网下载，https://www.elastic.co/downloads/elasticsearch，选择自己想要的版本下载到本地，然后解压；

 

2.安装Kibana

从官网下载，https://www.elastic.co/downloads/kibana，这里选择和ElasticSearch一样的版本，然后解压。

Kibana是一个为 ElasticSearch 提供数据分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。

 

3.安装X-pack

是ElasticSearch的一个扩展包，包括安全、警告、监视、图形、报告等功能集成在一个软件包，方便我们操作ElasticSearch。

到ElasticSearch目录，执行./bin/elasticsearch-plugin install x-pack；到Kibana目录，执行./bin/kibana-plugin install x-pack。

 

4.启动ElasticSearch和Kibana+访问

启动ElasticSearch：ES目录执行./bin/elasticsearch；

启动Kibana：Kibana目录执行./bin/kibana

 

访问Kibana：http://localhost:5601/

 

 

特别注意：登录的默认用户名和密码分别是：elastic和changeme 。

 

三、MySQL数据同步到ElasticSearch

自己在网上找了很多资料，最后选择采用logstash-input-jdbc的方式进行MySQL数据到ES的同步，已经做了一个初步的尝试，感觉还不错。现在仅仅尝试了一次同步一个表的数据，批量数据同步还需要研究。下面是我们进行数据同步的一些步骤：

 

步骤一：安装Ruby

因为logstash-input-jdbc是logstash的一个插件，使用ruby开发。自己本地是在MacOS上，安装方式：ruby -e "$(curl --insecure -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"；

 

步骤二：安装logstash-input-jdbc

首先从官网下载logstash:https://www.elastic.co/downloads/logstash，解压之后进入本地的logstash目录，到bin目录下面执行命令：./logstash-plugin install logstash-input-jdbc，安装的过程需要花费一点时间，静待一会儿，耐心等待，直到出现Installation successful。

 

步骤三：使用logstash-input-jdbc

进入本地的logstash/bin目录，创建mysql目录，并添加jdbc.conf和jdbc.sql两个文件，并且加入mysql驱动。下面贴出jdbc.conf和jdbc.sql文件的内容，这里实现了同步MySQL中一个表的数据到ES。

 

jdbc.conf文件内容如下：

input {  

    stdin {

    }  

 

    jdbc {  

      # mysql 数据库链接,test为数据库名  

      jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/test"  

      # 登录mysql数据库用户名和密码  

      jdbc_user => "root"  

      jdbc_password => "root"  

      # 驱动  

      jdbc_driver_library => "/Users/wuhoujian/Documents/myself/learning/elasticsearch/logstash-5.5.1/bin/mysql/mysql-connector-java-5.1.38.jar"  

      # 驱动类名  

      jdbc_driver_class => "com.mysql.jdbc.Driver"  

      jdbc_paging_enabled => "true"  

      jdbc_page_size => "50000"  

      # 执行的sql 文件路径+名称  

      statement_filepath => "/Users/wu