使用kafka-connect-oracle采集oracle数据

1.下载软件包

将kafka-connect-oracle的jar包放到kafka客户端的libs目录下，并将连接oralce的驱动包ojdbc的jar包（根据oracle的版本选择jar包，此处使用的是ojdbc6.jar）放到kakfa客户端libs目录下。

2.登录oracle数据库，对用户授权

a.数据库必须处于archivelog模式：

    sqlplus / as sysdba   //sqlplus sys/sys as sysdba;
    SQL>shutdown immediate
    SQL>startup mount
    SQL>alter database archivelog;
    SQL>alter database open;

b.启用补充日志记录：

    sqlplus / as sysdba    
    SQL>alter database add supplemental log data (all) columns;

c.为了成功执行连接器，必须使用特权Oracle用户启动连接器。如果给定的用户具有DBA角色，则可以跳过此步骤。否则，需要执行以下脚本来创建特权用户：

    create role logmnr_role;
    grant create session to logmnr_role;
    grant  execute_catalog_role,select any transaction ,select any dictionary to logmnr_role;
    create user kafka identified by kafkapass;
    grant  logmnr_role to kafka;
    alter user kafka quota unlimited on users;

3.修改配置文件

在kafka客户端下config目录下创建connect-oracle.properties，并编辑如下内容：

name=oracle-logminer-connector
connector.class=com.ecer.kafka.connect.oracle.OracleSourceConnector
db.name.alias=orcl
tasks.max=1
topic=student
db.name=XE
db.hostname=10.114.10.42
db.port=1521
db.user=kafka
db.user.password=kafkapass
db.fetch.size=1
table.whitelist=KAFKA.STUDENT
table.blacklist=
parse.dml.data=true
reset.offset=true
multitenant=false

需要注意如下几个参数：
db.name 可以登录oracle使用如下命令进行查看：

select name from V$database;

需要注意表的名称需要大写。例如：

table.whitelist=KAFKA.STUDENT

4.运行测试

首先运行zookeeper服务，进入kafka客户端，执行如下命令：

 bin/zookeeper-server-start.sh    config/zookeeper.properties 

启动成功后如图所示：

然后运行kafka服务，进入kafka客户端，执行如下命令：

 bin/kafka-server-start.sh   config/server.properties

启动成功后如图所示：

最后在kafka客户端启动kafka-connect-oracle服务：

bin/connect-standalone.sh config/connect-standalone.properties config/connect-oracle.properties

运行成功如图所示：

罗列topic：可以看到已经生成topic：

消费student主题：

bin/kafka-console-consumer.sh --bootstrap-server 10.114.10.42:9092  --topic student

登录oracle操作数据（增删改）：

 insert into student(username,password) values('tom','111');
 delete from student where username='tom';
 update student set username='ee' where id=3;

操作结果如图所示：

可以看到成功消费到数据，测试成功。
码途漫漫，请为我点赞！！