1.前叙
Logstash 是一个实时数据收集引擎,可收集各类型数据并对其进行分析,过滤和归纳。按照自己条件分析过滤出符合数据导入到可视化界面。今天我们利用它来进行Mysql与Elasticsearch间的数据同步,当然该方法有时效性的缺陷。如果对时效性的要求比较高的话可以利用Mysql的binlog日志进行数据的同步,这里不做具体的介绍。
2.下载
由于我当前使用的Elasticsearch的版本为6.4.2的版本,所以我们这里选择Logstash的6.4.2版本进行安装,下载地址:https://www.elastic.co/cn/downloads/past-releases#logstash,由于是歪果网站的原因我们这里继续选择迂回战术下载,将文件下载到本地后通过rz命令将文件上传至服务器。
上传文件至服务器:
解压当前文件夹下面的logstash:tar zxvf ./logstash-6.4.2.tar.gz
将解压后的文件移动到/usr/local路径下,不要问为什么,个人习惯。
3.配置
相对于Elasticsearch来说Logstash的配置就稍显简单了很多,主要修改分配内存的大小,编辑logstash的配置文件:vim ./jvm.options
插件安装:
(1)jdbc形式输入插件:logstash-input-jdbc ,进入logstash的bin目录下利用logstash-plugin插件安装工具进行安装./logstash-plugin install logstash-input-jdbc
(2)elasticsearch输出插件:logstash-output-elasticsearch,同样我们进入到logstash的bin目录下利用logstash-plugin插件安装工具进行安装./logstash-plugin install logstash-output-elasticsearch
4.测试
进入logstash的安装目录,输入bin/logstash -e 'input { stdin {} } output { stdout{} }'会看到让我们输入信息
当我们输入消息后看到绿色框框内的内容证明我们的安装是没有问题的,到此安装完成。