一、前提
1)已经安装好源数据库:Mysql;
2)已经安装好目的数据库:Mongodb;
3)已经安装好logstash及相关插件logstash-output-mongodb
3.1. logstash 安装,下载最新版本的logstash:点击打开链接
3.2 查看当前logstash安装了哪些插件: 进入logstash的bin目录执行 logstash-plugin list
默认的logstash不安装 logstash_output_mongodb插件的。
3.3 下载logstash-output-mongodb 点击打开连接 选择自己的版本,,,将下载好的zip解压到logstash目录下(根据自己情况定义目录地址),本人是在logstash下创建了plugins目录
3.4 修改logstash目录下的Gemfile文件,,注:不带后缀的... 修改source 'https://gems.ruby-china.com/'为国内源,
最后一行加 gem "logstash-output-mongodb", :path => "plugins/logstash-output-mongodb"
默认的path路径便是在logstash文件下的 注:需要填写为实际路径
之后cmd至logstash的bin目录下,执行logstash-plugin install --no-verify命令 进行插件安装,出现如下所示即为安装成功
接着输入 logstash-plugin list 查看安装插件列表,, 出现如下 大功告成。
二、配置文件
在logstash的bin目录下新建了文件夹config-mongodb,在该目录下新建jdbc.conf文件,jdbc_mongo.sql文件
1.jdbc.conf
input {
stdin {
}
jdbc {
# 源Mysql数据库地址
jdbc_connection_string => "jdbc:mysql://数据库地址:数据库端口/数据库?zeroDateTimeBehavior=convertToNull"
#源Mysql的用户名和密码
jdbc_user => "用户名"
jdbc_password => "密码"
#true代表记录最后存储的关联列值
record_last_run => "true"
use_column_value => "true"
tracking_column => "记录的字段"
#只支持这两种 ["numeric", "timestamp"]
tracking_column_type => "timestamp"
#存储位置(这个地方不要写文件夹路径,会跑出Permission denied错误信息)
last_run_metadata_path => "/logstash-8.2.0/bin/config-mongodb/mongo_info.txt"
clean_run => "false"
#jdbc路径地址
jdbc_driver_library => "D:/develop/logstash-8.2.0/plugins/mysql-connector-java-8.0.23.jar"
# the name of the driver class for mysql
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "500"
#以下对应着要执行的sql的绝对路径。
statement_filepath => "config-mongodb/jdbc_mongodb.sql"
#定时字段 各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新
schedule => "* * * * *"
}
}
#输出mongodb的配置
output {
stdout { codec => rubydebug }
mongodb {
#对应mongodb的输出集合
collection => "集合名称"
#对应mongodb的输出数据库名称
database => "数据库名称"
uri => "mongodb://用户名:密码@地址:27017/要认证的数据库"
}
}
jdbc_mongodb.sql 文件 根据自己的业务逻辑来写,例:
select
*
from 表
where 条件字段 > :sql_last_value
在bin目录下执行: logstash -f config-mongodb/jdbc.conf