1.在logstash安装目录bin目录下启动
bin/logstash -f config/xxx.conf
设置启动程序,xxx.conf。内容如下
input {
stdin {
}
jdbc {
codec => plain { charset => "UTF-8"}
jdbc_connection_string => "jdbc连接"
jdbc_driver_library => "C:\xxx\ojdbc7.jar"#jar包根路径
jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
jdbc_user => "数据库名字"
jdbc_password => "数据库密码"
jdbc_paging_enabled => "true"#是否分页
jdbc_page_size => "150000"#分页-每页数据数量
statement => "SELECT * FROM (SELECT ROWNUM AS rowno, t.* FROM TEMP_BIGDATA t WHERE ROWNUM <= 20000000) table_alias WHERE table_alias.rowno >0"
> 上面这条sql是导入数据的关键,请在数据库中测试是否符合需求,再拿过来用。基本表数据导入可以参照我的。比如 ROWNUM 值,和rowno值得设定。这两个数据啥意思,请自行百度oracle语法。
> 下面的配置基本是默认的,新手不建议修改
schedule => "* * * * *"
use_column_value