Flume连接oracle实时推送数据到kafka

最新推荐文章于 2024-08-16 09:10:11 发布

四叶草Grass

最新推荐文章于 2024-08-16 09:10:11 发布

阅读量8.5k

点赞数 5

分类专栏：大数据-Flume 文章标签： Flume oracle

本文链接：https://blog.csdn.net/chongxin1/article/details/76104075

版权

本文介绍了如何配置和使用Flume从Oracle数据库实时抽取数据，并将其推送到Kafka。步骤包括下载flume-ng-sql-source.jar，将其放入Flume的lib目录，添加Oracle JDBC驱动，创建flume-sql.conf配置文件，启动Flume并测试数据传输，以及解决可能出现的错误。

摘要由CSDN通过智能技术生成

版本号：

RedHat6.5 JDK1.8 flume-1.6.0 kafka_2.11-0.8.2.1

flume安装

RedHat6.5安装单机flume1.6： RedHat6.5安装单机flume1.6

kafka安装

RedHat6.5安装kafka集群： RedHat6.5安装kafka集群

1、下载flume-ng-sql-source-1.4.3.jar

CSDN下载地址：http://download.csdn.net/detail/chongxin1/9892184

flume-ng-sql-source-1.4.3.jar是flume用于连接数据库的重要支撑jar包。

2、把flume-ng-sql-source-1.4.3.jar放到flume的lib目录下

3、把oracle（此处用的是oracle库）的驱动包放到flume的lib目录下

oracle的jdbc驱动包，放在oracle安装目录下，路径为：D:\app\product\11.2.0\dbhome_1\jdbc\lib

如图：

把ojdbc5.jar放到flume的lib目录下，如图：

4、新建flume-sql.conf

在conf目录新建flume-sql.conf :

   
   
   
    touch /usr/local/flume/apache-flume-1.6.0-bin/conf/flume-sql.conf
    sudo gedit /usr/local/flume/apache-flume-1.6.0-bin/conf/flume-sql.conf

flume-sql.conf输入以下内容：

 
 
 
  agentOne.channels = channelOne
  agentOne.sources = sourceOne
  agentOne.sinks = sinkOne
  ###########sql source#################
  # For each one of the sources, the type is defined
  agentOne.sources.sourceOne.type = org.keedio.flume.source.SQLSource
  agentOne.sources.sourceOne.hibernate.connection.url = jdbc:oracle:thin:@192.168.168.100:1521/orcl
  # Hibernate Database connection properties
  agentOne.sources.sourceOne.hibernate.connection.user = flume
  agentOne.sources