Flume增量抽取Oracle数据到Kafka

最新推荐文章于 2023-10-24 08:26:40 发布
最新推荐文章于 2023-10-24 08:26:40 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： 大数据 文章标签： Flume Oracle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hua_yuan2015/article/details/103084500
版权
本文介绍了如何使用Flume从Oracle数据库进行增量数据抽取，并将这些数据实时传输到Kafka。首先，需要在Flume的lib目录下添加flume-ng-sql-source相关jar包和Oracle的ojdbc驱动。接着，配置Flume的配置文件，设置数据源、通道和目的地。最后，启动Flume服务，确保数据流稳定且无丢失。在实施过程中需要注意Oracle的连接配置以及Flume的日志监控。
摘要由CSDN通过智能技术生成
  • 在Flume的lib下引入如下两个包

flume-ng-sql-source-1.5.2.jar

ojdbc5.jar

  • 配置flink文件
# declare source channel sink
agentTest0.channels = channelTest0
agentTest0.sources = sourceTest0
agentTest0.sinks = sinkTest0
###########sql source#################
# declare source type
agentTest0.sources.sourceTest0.type = org.keedio.flume.source.SQLSource

# Hibernate Database connection properties
agentTest0.sources.sourceTest0.hibernate.connection.url = jdbc:oracle:thin:@12.1.93.4:1521/zhgsdb
agentTest0.sources.sourceTest0.hibernate.connection.user = ******
agentTest0.sources.sourceTest0.hibernate.connection.password = ******
agentTest0.sources.sourceTest0.hibernate.connection.autocommit = true
agentTest0.sources.sourceTest0.hibernate.dialect = org.hibernate.dialect.Oracle10gDialect
agentTest0.sources.sourceTest0.hibernate.connection.driver_class = oracle.jdbc.driver.OracleDriver
# 查询间隔 ms
ag
最低0.47元/天 解锁文章
大数据程序袁
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于HDP使用Flume实时采集MySQL中数据传到Kafka
光于前裕于后的博客
10-21 738
注意：HDP中Kafka broker的端口是6667，不是9092 1.将flume-ng-sql-source-1.5.2.jar，mysql-connector-java.jar放入Flume安装目录lib下
flume-ng-sql-source-1.5.2.jar
11-15
flume-ng-sql-source-1.5.2.jar从数据库中增量读取数据到hdfs中的jar包
Flume基本使用--mysql数据输出
最新发布
zn2021220822的博客
10-24 2627
了解并熟悉flume的功能掌握flume的使用方法，学会按要求编写相关配置文件
实时数据同步
allen的博客
04-21 1120
log解析=>数据同步 Oracle：ogg MySQL：binlog解析 SQL查询=>数据同步 flume 方案 flume-ng-sql-source读取数据：DB，file， hdfs… flume写入DB，hdfs flume写入kafka后期再消费 实施 安装flume[, kafka, zookepper] 下载并生成flume-ng-sql-sour...
Flume 抽取MYSQL Oracle数据 JSON格式 推送Kafka
05-28
Flume二次开发，支持抽取MYSQL Oracle数据库数据 以JSON格式推送至Kafka。 demo： sql_json.sources.sql_source.type = com.hbn.rdb.source.SQLSource sql_json.sources.sql_source.connectionurl = jdbc:oracle:...
kafka+flume 实时采集oracle数据到hive中.docx
08-11
基于Kafka+Flume实时采集Oracle数据到Hive中 一、Kafka获取Oracle日志实时数据 Kafka是一种分布式流媒体平台，能够实时地从Oracle数据库中提取日志信息。为了实现这一点，需要先安装ZooKeeper和Kafka，然后配置...
利用Flume将MySQL表数据准实时抽取到HDFS、MySQL、Kafka
03-06
在这个场景中，它被用来从MySQL数据库中抽取数据，并将这些数据流式传输到HDFS、MySQL以及Kafka。 1. **Flume**: Flume的核心组件包括源（Source）、通道（Channel）和接收器（Sink）。在这个案例中，`flume-ng-sql...
Flume监听oracle表增量的步骤详解
09-09
通过以上步骤，Flume将实时监听Oracle数据库表中的数据增量，并将增量数据发送到指定的接收端。这个过程中涉及到了一些关键知识点，包括： - Flume的核心组件：source、channel和sink的定义与作用。 - 如何配置...
flume-ng-sql-source1.4.3.jar免费下载
weixin_43069246的博客
05-08 579
网上大部分都是收费的，本来这个都是开源的，所以我自己打包分享给大家免费使用！ 百度云盘地址：链接：https://pan.baidu.com/s/1C55dubR1IToN8T19ofNCtg 提取码：1234
flume-ng-sql-source-1.5.2
10-12
flume-ng-sql-source-1.5.2源码
flume-ng-sql-source.jar
03-23
flume是一个日志收集器，更多详细的介绍可以参照官网:http://flume.apache.org/ flume-ng-sql-source实现oracle增量数据读取 有了这个jar文件即可从关系型数据库拉去数据到flume
Flume-ng资料合集
10-26
Flume NG是Cloudera提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failover和负载均衡。
四（2）、flume遇到的问题
Angular_need的博客
03-20 2298
从mysql抽取数据到hdfs flume-ng agent --conf conf --conf-file conf/flume-conf04.properties --name a1 -Dflume.root.logger=INFO,console a1.channels.ch1.type = memory a1.sources.sql-source.channels = ch1 a1.cha...
flume-ng 入 oracle,flume-ng-sql-source
weixin_42151373的博客
04-04 268
支持oracle=======flume-ng-sql-sourceThis project is used for flume-ng to communicate with sql databasesCurrent sql database engines supportedAfter the last update the code has been integrated with hiber...
Flume1.9的安装
qq_44982182的博客
06-08 766
1.上传 apache-flume-1.9.0-bin.tar.gz 2.解压 [hadoop@master apps]$ tar -zxvf apache-flume-1.9.0-bin.tar.gz 3.配置环境变量 #vi ~/.bashrc export FLUME_HOME=/home/hadoop/apps/apache-flume-1.9.0-bin export PATH=$PATH:$FLUME_HOME/bin #使变量设置生效 #source ~/.bashrc 4.修改配置文件
ClickHouse - 使用flume同步oracle数据至clickhouse
weixin_33728708的博客
11-01 1935
2019独角兽企业重金招聘Python工程师标准>>> ...
flume采集mysql中的表数据，使用flume-ng-sql-source的配置
Di Qiang 的博客
07-02 7022
因业务需求，需要采集mysql中的某表数据进行记录。被采集表中必须有增量数据字段，如自增id或者修改时间。 我这里得需求是要记录所有数据及发生改变得数据，因此增量条件字段为 last_modified 开发环境: jdk1.8 mysql5.6 flume1.8 flume默认是不支持sql source的，因此需要先添加flume-ng-sql-source 支持MySql SQL......
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值