ES--Logstash工具导入Oracle千万级数据

本文介绍了如何利用Logstash工具从Oracle数据库高效地导入千万级别的数据到ElasticSearch。通过配置Logstash的.conf文件,实现数据迁移过程。
摘要由CSDN通过智能技术生成

1.在logstash安装目录bin目录下启动

bin/logstash -f config/xxx.conf

设置启动程序,xxx.conf。内容如下

input {
  stdin {
  }
  jdbc {
    codec => plain { charset => "UTF-8"}
	jdbc_connection_string => "jdbc连接"
	jdbc_driver_library => "C:\xxx\ojdbc7.jar"#jar包根路径
	jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
	jdbc_user => "数据库名字"
	jdbc_password => "数据库密码"
	jdbc_paging_enabled => "true"#是否分页
	jdbc_page_size => "150000"#分页-每页数据数量
	statement => "SELECT * FROM (SELECT ROWNUM AS rowno, t.* FROM TEMP_BIGDATA t WHERE ROWNUM <= 20000000) table_alias WHERE table_alias.rowno >0"

> 上面这条sql是导入数据的关键,请在数据库中测试是否符合需求,再拿过来用。基本表数据导入可以参照我的。比如 ROWNUM 值,和rowno值得设定。这两个数据啥意思,请自行百度oracle语法。
> 下面的配置基本是默认的,新手不建议修改

	schedule => "* * * * *"
	use_column_value 
  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值