一、实验介绍
logstash-jdbc-input
是Logstash提供的官方插件之一,该插件通过JDBC接口将任何数据库中的数据导入 Logstash。关于使用logstash-jdbc-input
插件从数据库中导出数据到es上,大部分是关于mysql数据库的导入。本篇文章是关于如何使用logstash-jdbc-input
插件对mongodb的数据进行实时导入。
二、版本说明
本实验使用的ELK版本是7.6.2。
(这里想要补充一下,关于mongodb数据库的数据导入,另外一种常使用的插件是mongo-connector,但该插件仅支持到elasticsearch5.x,因此对于更高版本的elasticsearch更推荐使用本篇文章使用的方法。)
三、具体实现
1. 下载相关的jdbc-driver文件并解压
- 下载地址: https://dbschema.com/jdbc-drivers/MongoDbJdbcDriver.zip
- 解压安装包:
unzip MongoDbJdbcDriver.zip
(安装包里面包括三个jar
包文件:gson-2.8.6.jar
、mongo-java-driver-3.12.4.jar
、mongojdbc2.1.jar
) - 将所有文件(即三个jar包)复制到
(~/logstash-7.6.2/logstash-core/lib/jars/)
目录(即你的logstash所在的安装目录)
2. 编写配置文件内容
- 在你的logstash安装目录下新建一个
.conf
文件 - 关于
.conf
配置文件主要由input
,filter
,output
三大板块组成,我们依次介绍如何填写各部分的内容: