网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
* 为数据库启用supplemental logging
```
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
```
* 为指定表启用supplemental logging
```
ALTER TABLE db.table ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;
```
第二步: 创建Tablespace表空间
表空间是用来存储数据库对象(如表、索引等)的逻辑结构。
在Oracle中创建一个名为"logminer_tbs"的表空间,数据文件的路径为"/opt/oracle/oradata/SID/logminer_tbs.dbf",大小为25M,并且允许自动扩展,最大大小为无限。
执行以下SQL需要使用sysdba角色登录到Oracle数据库
CREATE TABLESPACE logminer_tbs DATAFILE '/opt/oracle/oradata/SID/logminer\_tbs.dbf' SIZE 25M REUSE AUTOEXTEND ON MAXSIZE UNLIMITED;
第三步: 创建用户并授予相应权限
执行以下SQL需要使用sysdba角色登录到Oracle数据库
GRANT CREATE SESSION TO cdc_user; -- 授予用户"cdc\_user"创建会话的权限,允许用户连接到数据库。
GRANT SET CONTAINER TO cdc_user; -- 授予用户"cdc\_user"切换到不同的容器(Container)的权限。容器是Oracle 12c中的概念,用于隔离和管理数据库资源。
GRANT SELECT ON V_$DATABASE to cdc_user; -- 授予用户"cdc\_user"对系统视图"V\_$DATABASE"的SELECT权限。该视图提供了关于数据库实例的信息。
GRANT FLASHBACK ANY TABLE TO cdc_user; -- 授予用户"cdc\_user"对任意表进行闪回(Flashback)操作的权限。闪回是一种用于还原或查询数据库历史数据的功能。
GRANT SELECT ANY TABLE TO cdc_user; -- 授予用户"cdc\_user"对任意表进行SELECT操作的权限。
GRANT SELECT_CATALOG_ROLE TO cdc_user; -- 授予用户"cdc\_user"执行SELECT\_CATALOG\_ROLE角色的权限。SELECT\_CATALOG\_ROLE角色允许用户查询数据库的元数据信息。
GRANT EXECUTE_CATALOG_ROLE TO cdc_user; -- 授予用户"cdc\_user"执行EXECUTE\_CATALOG\_ROLE角色的权限。EXECUTE\_CATALOG\_ROLE角色允许用户执行数据库的元数据操作。
GRANT SELECT ANY TRANSACTION TO cdc_user; -- 授予用户"cdc\_user"对任意事务进行SELECT操作的权限。
GRANT LOGMINING TO cdc_user; -- 授予用户"cdc\_user"进行日志挖掘(Log Mining)的权限。日志挖掘是一种用于分析和提取数据库变更信息的技术。
GRANT LOCK ANY TABLE TO cdc_user; -- 授予用户"flinkuser"锁定任意表的权限。(需开启。不开启的话,无法采集数据)
GRANT EXECUTE ON DBMS_LOGMNR TO cdc_user; -- 授予用户"cdc\_user"执行DBMS\_LOGMNR包中的过程和函数的权限。DBMS\_LOGMNR包提供了用于日志挖掘的功能。
GRANT EXECUTE ON DBMS_LOGMNR_D TO cdc_user; -- 授予用户"cdc\_user"执行DBMS\_LOGMNR\_D包中的过程和函数的权限。DBMS\_LOGMNR\_D包扩展了DBMS\_LOGMNR包的功能。
GRANT SELECT ON V_$LOG TO cdc_user; -- 授予用户"cdc\_user"对系统视图"V\_$LOG"的SELECT权限。该视图提供了关于日志文件的信息。
GRANT SELECT ON V_$LOG_HISTORY TO cdc_user; -- 授予用户"cdc\_user"对系统视图"V\_$LOG\_HISTORY"的SELECT权限。该视图提供了关于历史日志文件的信息。
GRANT SELECT ON V_$LOGMNR_LOGS TO cdc_user; -- 授予用户"cdc\_user"对系统视图"V\_$LOGMNR\_LOGS"的SELECT权限。该视图提供了关于日志挖掘所使用的日志文件的信息。
GRANT SELECT ON V_$LOGMNR_CONTENTS TO cdc_user; -- 授予用户"cdc\_user"对系统视图"V\_$LOGMNR\_CONTENTS"的SELECT权限。该视图提供了关于日志挖掘的内容信息。
GRANT SELECT ON V_$LOGMNR_PARAMETERS TO cdc_user; -- 授予用户"cdc\_user"对系统视图"V\_$LOGMNR\_PARAMETERS"的SELECT权限。该视图提供了关于日志挖掘参数的信息。
GRANT SELECT ON V_$LOGFILE TO cdc_user; -- 授予用户"cdc\_user"对系统视图"V\_$LOGFILE"的SELECT权限。该视图提供了关于日志文件的信息。
GRANT SELECT ON V_$ARCHIVED_LOG TO cdc_user; -- 授予用户"cdc\_user"对系统视图"V\_$ARCHIVED\_LOG"的SELECT权限。该视图提供了关于已归档日志文件的信息。
GRANT SELECT ON V_$ARCHIVE_DEST_STATUS TO cdc_user; -- 授予用户"cdc\_user"对系统视图"V\_$ARCHIVE\_DEST\_STATUS"的SELECT权限。该视图提供了关于归档目标状态的信息。
Oracle CDC DataStream API实现
所使用软件的版本
- java 1.8
- Scala 2.11
- Flink 1.14.2
- Flink CDC 2.3.0
- Source Oracle 19c
- Sink MySQL 5.7
- jackson 2.10.2
Oracle CDC DataStream API可实现一个job监控采集一个数据库的多个表.
1. 定义OracleSource
//源数据库连接配置文件
Properties sourceDbProps = DbConfigUtil.loadConfig("oracle.properties");
//Debezium配置
Properties debeziumProps = new Properties();
//参考 https://debezium.io/documentation/reference/1.6/connectors/oracle.html#oracle-property-log-mining-strategy
debeziumProps.setProperty("log.mining.strategy", "online\_catalog");
debeziumProps.setProperty("log.mining.continuous.mine", "true");
//decimal.handling.mode指定connector如何处理DECIMAL和NUMERIC列的值,有3种模式:precise、double和string
//precise(默认值):以二进制形式在变更事件中精确表示它们,使用java.math.BigDecimal值来表示(此种模式采集会将DECIMAL和NUMERIC列转成二进制格式,不易读,不便于数据处理)
//以double值来表示它们,这可能会到值精度丢失
//string:将值编码为格式化的字符串,易于下游消费,但会丢失有关实际类型的语义信息。(建议使用此种模式,便于下游进行数据处理)
debeziumProps.setProperty("decimal.handling.mode","string");
//Oracle CDC数据源
SourceFunction<String> sourceFunction = OracleSource.<String>builder()
.hostname(sourceDbProps.getProperty("host"))
.port(Integer.parseInt(sourceDbProps.getProperty("port")))
.database(sourceDbProps.getProperty("database")) // monitor database
.schemaList(sourceDbProps.getProperty("schema\_list").split(",")) // monitor schema
.tableList(sourceDbProps.getProperty("table\_list").split(",")) // monitor table
.username(sourceDbProps.getProperty("username"))
.password(sourceDbProps.getProperty("password"))
.deserializer(new JsonDebeziumDeserializationSchema())
.debeziumProperties(debeziumProps)
.startupOptions(StartupOptions.initial())
.build();
2. 数据处理
参考: MySQL CDC配置及DataStream API实现代码
3. Sink到MySQL
参考: MySQL CDC配置及DataStream API实现代码
参考
- https://debezium.io/documentation/reference/1.6/connectors/oracle.html
- https://ververica.github.io/flink-cdc-connectors/release-2.3/content/connectors/oracle-cdc.html
- https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/connectors/datastream/jdbc/
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!