ElasticSearch学习（五）：数据导入之Logstash

前面我们部署了ElasticSearch和Kibana，实现了ElasticSearch的基本操作和管理，还往ElasticSearch里面插入了几条数据以及进行了最简单的查询。ElasticSearch是用来干什么的呢？ElasticSearch是一个搜索引擎，用来搜索数据的啊。那数据从哪里来呢，总不能手动一条条地插入吧？我们现在的数据还保存在MySQL，并且数据是不断增长的，那么怎么将数据保存到ElasticSearch中呢？

官方提供了一个Logstash工具，是一个开源数据收集引擎，可以将不同来源的数据保存到ElasticSearch或者是hadoop等其他地方。

下面简单介绍一下Logstash从MySQL数据库导入到ElasticSearch，Logstash从Mysql数据库接收数据，经过filter过滤后输出到ElasticSearch中。

下载

还是安装到"~/elasticSearch"文件夹下。进入目录，下载Logstash压缩包

cd ~/elasticSerach/
wget -c https://artifacts.elastic.co/downloads/logstash/logstash-6.5.4.tar.gz

下载完成后，解压到当前文件夹

tar -xvf logstash-6.5.4.tar.gz

需要说明的是，Logstash更像是一个框架，而运行于Logstash上面的插件才是导入数据的关键。从数据库导入数据，需要用到"logstash-input-jdbc"插件，而导出数据到elasticsearch需要用到"logstash-output-elasticsearch"插件，但这些插件不用我们另外去下载了，在上面下载好的logstash包里已经包含了这些插件。可以通过下面的命令来查看已经安装好的插件

logstash-6.5.4/bin/logstash-plugin list

配置

我们需要一个配置文件来配置Msql的连接信息、查询表的SQL语句、ElasticSearch的连接信息等。新建一个配置文件mysql.conf，放在/logstash-6.5.4/config/mysql目录下，内容如下：

input {
  jdbc {
    jdbc_driver_library => "/home/yangp/elasticSerach/logstash-6.5.4/config/mysql/mysql-connector-java-8.0.12.jar"
    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://192.168.1.226:3306/mongcent_backstage?serverTimezone=Asia/Shanghai