logstash同步sqlserver数据

测试版本:

  1. elasticsearch 7.10.2
  2. kibana 7.10.2
  3. logstash 7.10.2
  4. jdk java-11.0.10

sqlserver驱动:https://pan.baidu.com/s/1HmbTWlXB0sQgfhBU28iZKA
提取码:ox78

1、新建索引index:test2

2、新建配置文件:sqlserver.conf

input {
  jdbc {
	  jdbc_connection_string => "jdbc:sqlserver://192.168.8.210:1433;DatabaseName=LTT_Distributors;"
	  jdbc_user => "sa"
	  jdbc_password => "Ltt1324."
	  jdbc_driver_library => "D:\logstash\connector\sqljdbc_8.4\chs\mssql-jdbc-8.4.1.jre11.jar"
	  jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
	  jdbc_paging_enabled => "true"
	  jdbc_page_size => "50"
	  statement => "SELECT * from OrderProducts"
          schedule => "* * * * *"
          lowercase_column_names => false
  }    
}


output {
  elasticsearch {
	  hosts => "127.0.0.1:9200" 
	  index => "order_products"
	  document_id => "%{OrderProductID}"
  }
  stdout {
      codec => json_lines
  }
  
}

4、执行:

logstash -f ./config/sqlserver.conf

5、查询数据

GET /test2/_search

 

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Logstash是一个开源的数据收集引擎,可以从各种源(例如SQL Server)收集数据并将其转发到目标存储(例如Elasticsearch)。 首先,您需要在Logstash的配置文件中定义输入和输出插件。对于SQL Server,您可以使用`jdbc`插件来连接数据库并执行查询,然后使用`elasticsearch`插件将结果发送到Elasticsearch。 在配置文件中,您需要提供SQL Server数据库的连接详细信息,例如主机名、端口、数据库名称、用户和密码。您还需要指定要执行的查询语句和将数据发送到Elasticsearch的目标索引。 以下是一个示例配置文件的概述: ``` input { jdbc { jdbc_driver_library => "path_to_sqlserver_jdbc_driver" jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver" jdbc_connection_string => "jdbc:sqlserver://<host>:<port>;databaseName=<database>" jdbc_user => "<username>" jdbc_password => "<password>" schedule => "* * * * *" statement => "SELECT * FROM <table>" } } output { elasticsearch { hosts => ["localhost:9200"] index => "my_index" } } ``` 在这个示例中,Logstash将每分钟执行一次查询,并将结果发送到名为`my_index`的Elasticsearch索引中。 通过运行Logstash并指定配置文件,您可以开始将数据从SQL Server导入到Elasticsearch。例如,使用以下命令运行Logstash: ``` bin/logstash -f path_to_config_file.conf ``` Logstash将会自动连接到SQL Server数据库,执行查询,并将结果发送到Elasticsearch。 总结起来,使用Logstash的`jdbc`和`elasticsearch`插件,可以轻松实现从SQL Server到Elasticsearch的数据传输。只需定义合适的配置文件,并在Logstash中运行它即可。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值