logstash同步oracle数据库数据到ES

最新推荐文章于 2023-04-24 22:16:31 发布

Kevin-Gem

最新推荐文章于 2023-04-24 22:16:31 发布

阅读量1.7k

点赞数

分类专栏：数据库文章标签： elasticsearch

本文链接：https://blog.csdn.net/Vickey_heng/article/details/111406019

版权

本文介绍如何通过Logstash配置文件logstash_add.conf实现从Oracle数据库到Elasticsearch的数据同步。在启动logstash时，指定配置文件路径，并确保SQL文件为UTF-8无BOM编码，以避免启动错误。

摘要由CSDN通过智能技术生成

在logstash中创建一个新的配置文件，例如logstash_add.conf。

启动logstash时，进入logstash的bin，使用指定的配置运行即可同步，数据量大的时候可能需要等待一下。

启动命令：logstash.bat -f D:\ELK\logstash-6.2.4\myconfig\config\logstash_add.conf

请注意：像文件中的读取orcl_users_info.sql文件SQL语句，该SQL文件格式一定是UTF-8 无bom的，不然会报错无法启动。

logstash_add.conf

input {    
    stdin {
        codec => plain{ charset => "GBK" } 
    }
    
    ##########################
    #orcl_users_info
    jdbc{
        #数据库驱动路径(linux写法:/home/mysql/mysql-connector-java-5.1.38.jar)
        jdbc_driver_library => "D:\ELK\logstash-6.2.4\myconfig\ojdbc6.jar"
        jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
        #数据库连接相关配置()
        jdbc_connection_string => "jdbc:oracle:thin:@//127.0.0.1:1521/orcl"
        jdbc_user => "hnmsa"
        jdbc_password => "root"