logstash脚本抽取数据到es或kafka，上

最新推荐文章于 2022-10-28 16:18:10 发布

置顶

计划式

最新推荐文章于 2022-10-28 16:18:10 发布

阅读量2.7k

点赞数 1

文章标签： oracle kafka elasticsearch json

本文链接：https://blog.csdn.net/qq_28429443/article/details/82257155

版权

本文档介绍了如何使用logstash从Oracle数据库中抽取数据，分别将其发送到Kafka和Elasticsearch。首先，展示了logstash配置，用于将数据实时推送到Kafka主题。然后，提供了将数据导入Elasticsearch的步骤，包括日期格式转换和字段清理。整个过程涵盖了数据抽取、过滤和输出到不同目标的详细配置。

摘要由CSDN通过智能技术生成

logstash从oracle抽数据到kafka

input {
jdbc {
jdbc_driver_library => “ojdbc6-11.2.0.3.0.jar 插件的”
jdbc_driver_class => “Java::oracle.jdbc.OracleDriver”
jdbc_connection_string => “jdbc:oracle:thin:@//url/库名”
jdbc_user => “用户名”
jdbc_password => “密码”
schedule => “* * * * *”
jdbc_default_timezone => “Etc/UTC”
statement => “select id,birthday,id_type,id_no,last_update_time from sehr_xman “//要抽取的数据
last_run_metadata_path => “/home/elk/logstash-5.4.0/config/meta/ssp_service_journal”
use_column_value => true
tracking_column => “last_update_time”
tracking_column_type => “timestamp”
type => “zoe_agegroup”
add_field => {“device_id” => “zoe-005”}
}
}
output {
kafka{ //抽取到kafka上
topic_id => “zoe_por_agegroup”