windows下logstash-output-mongodb实现Mysql到Mongodb数据同步

一、前提

1）已经安装好源数据库：Mysql;

2）已经安装好目的数据库：Mongodb;

3）已经安装好logstash及相关插件logstash-output-mongodb

     3.1.  logstash 安装，下载最新版本的logstash:点击打开链接

    3.2 查看当前logstash安装了哪些插件: 进入logstash的bin目录执行 logstash-plugin list

默认的logstash不安装 logstash_output_mongodb插件的。

   3.3 下载logstash-output-mongodb 点击打开连接    选择自己的版本,,,将下载好的zip解压到logstash目录下(根据自己情况定义目录地址),本人是在logstash下创建了plugins目录

​

   3.4  修改logstash目录下的Gemfile文件,,注:不带后缀的...   修改source 'https://gems.ruby-china.com/'为国内源,​ 

     最后一行加  gem "logstash-output-mongodb", :path => "plugins/logstash-output-mongodb"

默认的path路径便是在logstash文件下的     注:需要填写为实际路径  ​

 之后cmd至logstash的bin目录下，执行logstash-plugin install --no-verify命令 进行插件安装，出现如下所示即为安装成功

​

接着输入 logstash-plugin list 查看安装插件列表,, 出现如下 大功告成。

 ​

二、配置文件

    在logstash的bin目录下新建了文件夹config-mongodb，在该目录下新建jdbc.conf文件，jdbc_mongo.sql文件

1.jdbc.conf

input {
  stdin {
  }
  jdbc {
       # 源Mysql数据库地址
       jdbc_connection_string => "jdbc:mysql://数据库地址:数据库端口/数据库?zeroDateTimeBehavior=convertToNull"
       #源Mysql的用户名和密码
       jdbc_user => "用户名"
       jdbc_password => "密码"
 
       #true代表记录最后存储的关联列值
       record_last_run => "true"
       use_column_value => "true"
       tracking_column => "记录的字段"
       #只支持这两种  ["numeric", "timestamp"]
       tracking_column_type => "timestamp"
        #存储位置（这个地方不要写文件夹路径，会跑出Permission denied错误信息）
       last_run_metadata_path => "/logstash-8.2.0/bin/config-mongodb/mongo_info.txt"
       clean_run => "false"
 
       #jdbc路径地址
       jdbc_driver_library => "D:/develop/logstash-8.2.0/plugins/mysql-connector-java-8.0.23.jar"
       # the name of the driver class for mysql
       jdbc_driver_class => "com.mysql.jdbc.Driver"
       jdbc_paging_enabled => "true"
       jdbc_page_size => "500"
       #以下对应着要执行的sql的绝对路径。
       statement_filepath => "config-mongodb/jdbc_mongodb.sql"
       #定时字段 各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
       schedule => "* * * * *"
  }
}
 
 
#输出mongodb的配置
output {
  stdout { codec => rubydebug }
  mongodb {
          #对应mongodb的输出集合
          collection => "集合名称"
          #对应mongodb的输出数据库名称
          database => "数据库名称"
          uri => "mongodb://用户名:密码@地址:27017/要认证的数据库"
  }
}

 jdbc_mongodb.sql 文件   根据自己的业务逻辑来写,例:

select
*
from 表
where 条件字段 > :sql_last_value

在bin目录下执行:  logstash -f config-mongodb/jdbc.conf