数据通过logstash写入oracle数据库

作为一个开源的服务器端数据处理管道，Logstash可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到想要的“存储端”。

默认logstash已经安装成功

可以通过开源logstash output插件logstash-output-jdbc数据导入oracle数据库

logstash-output-jdbc插件安装

外网安装命令：bin/logstash-plugin install logstash-output-jdbc

离线安装：

1. 直接从logstash-output-jdbc github 下载安装包将logstash-output-jdbc.zip放到不能联网的主机安装即可执行命令bin/logstash-plugin install file:///home/logstash-output-jdbc.zip`
2. 也可以从已经安装好的机器上把对logstash-output-jdbc进行剥离打包

剥离的命令（bin/logstash-plugin prepare-offline-pack --overwrite --output logstash-output-jdbc.zip logstash-output-jdbc）然后安装

3.插件安装成功后可以配置logstash的conf文件了，下面是我本地跑的一个配置

input {

  file {

    path => ["F:/test/test.csv"] # 数据文件的位置，多个文件可以用通配符*

stat_interval => 1

start_position => beginning

sincedb_path => "E:/test.txt"

sincedb_write_interval => 9

codec=>plain{

            charset=>"UTF-8"

        }

  }

  

}

 

filter {  

csv {

columns => ["id","name","age"] #要迁移表的所有字段

}

mutate {

remove_field => ["host", "@timestamp", "message","@version","tags", "path"]

}

}

 

output {

jdbc {

    codec => plain {

            charset=>"UTF-8"

        }

driver_jar_path => "E:/test/jar/jdbc/ojdbc6.jar"

connection_string => "jdbc:oracle:thin:test/test@127.0.0.1:1521:test"

statement => [ "INSERT INTO table VALUES(?,?,?)", "id","name","age"]

}

    }

}