Flink CDC-Oracle CDC配置及DataStream API实现代码

最新推荐文章于 2024-05-09 20:38:03 发布

2401_84160361

最新推荐文章于 2024-05-09 20:38:03 发布

阅读量920

点赞数 10

分类专栏： 2024年程序员学习文章标签： flink oracle 大数据

本文链接：https://blog.csdn.net/2401_84160361/article/details/137486309

版权

2024年程序员学习专栏收录该内容

115 篇文章 1 订阅

订阅专栏

第一步: 开启归档日志

使用sysdba角色登录到Oracle数据库
确保Oracle归档日志(Archive Log)已启用

select log_mode from v$database; – 查询结果应为ARCHIVELOG。

若未启用归档日志, 需运行以下命令启用归档日志
设置归档日志存储大小及位置

设置数据库恢复文件存储区域的大小(如归档重做日志文件、控制文件备份等)

alter system set db_recovery_file_dest_size = 10G;

设置恢复文件的实际物理存储路径;scope=spfile参数设置讲persist到spfile参数文件中,即实例重启后也仍然生效

alter system set db_recovery_file_dest = ‘/opt/oracle/oradata/recovery_area’ scope=spfile;

立即关闭数据库。这会回滚所有未提交的事务,并断开所有连接的会话,然后关闭数据库实例

shutdown immediate;

启动数据库,但只到‘挂载’阶段,此时数据库文件对用户还不可用。在这个阶段,DBA可以进行一些特殊的管理任务,比如数据库的恢复或者切换日志模式

startup mount;

将数据库的日志模式切换为归档日志模式。在归档日志模式下,数据库会保存所有的重做日志文件,这对于数据库恢复和数据库备份非常重要。

alter database archivelog;

将数据库从‘挂载’状态切换到‘开放’状态,此时数据库对用户可用,可进行正常的数据库操作。

alter database open;

再次确认归档日志是否已启用！

select log_mode from v$database; – 查询结果应为ARCHIVELOG。

启用归档日志需要数据库重启,请谨慎操作！
归档日志会占用大量的磁盘空间,需定期清理过期的归档日志！
启用Supplemental logging
为捕获数据库中数据变更前的状态,必须在捕获的表或数据库上启用补充日志(Supplemental logging)

为数据库启用supplemental logging

ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;

为指定表启用supplemental logging

ALTER TABLE db.table ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;

第二步: 创建Tablespace表空间

表空间是用来存储数据库对象（如表、索引等）的逻辑结构。

在Oracle中创建一个名为"logminer_tbs"的表空间，数据文件的路径为"/opt/oracle/oradata/SID/logminer_tbs.dbf"，大小为25M，并且允许自动扩展，最大大小为无限。

执行以下SQL需要使用sysdba角色登录到Oracle数据库

CREATE TABLESPACE logminer_tbs DATAFILE ‘/opt/oracle/oradata/SID/logminer_tbs.dbf’ SIZE 25M REUSE AUTOEXTEND ON MAXSIZE UNLIMITED;

第三步: 创建用户并授予相应权限

执行以下SQL需要使用sysdba角色登录到Oracle数据库

GRANT CREATE SESSION TO cdc_user; – 授予用户"cdc_user"创建会话的权限，允许用户连接到数据库。
GRANT SET CONTAINER TO cdc_user; – 授予用户"cdc_user"切换到不同的容器（Container）的权限。容器是Oracle 12c中的概念，用于隔离和管理数据库资源。
GRANT SELECT ON V_ $_ DATABASE to cdc_user; -- 授予用户"cdc\_user"对系统视图"V\_$ DATABASE"的SELECT权限。该视图提供了关于数据库实例的信息。
GRANT FLASHBACK ANY TABLE TO cdc_user; – 授予用户"cdc_user"对任意表进行闪回（Flashback）操作的权限。闪回是一种用于还原或查询数据库历史数据的功能。
GRANT SELECT ANY TABLE TO cdc_user; – 授予用户"cdc_user"对任意表进行SELECT操作的权限。
GRANT SELECT_CATALOG_ROLE TO cdc_user; – 授予用户"cdc_user"执行SELECT_CATALOG_ROLE角色的权限。SELECT_CATALOG_ROLE角色允许用户查询数据库的元数据信息。
GRANT EXECUTE_CATALOG_ROLE TO cdc_user; – 授予用户"cdc_user"执行EXECUTE_CATALOG_ROLE角色的权限。EXECUTE_CATALOG_ROLE角色允许用户执行数据库的元数据操作。
GRANT SELECT ANY TRANSACTION TO cdc_user; – 授予用户"cdc_user"对任意事务进行SELECT操作的权限。
GRANT LOGMINING TO cdc_user; – 授予用户"cdc_user"进行日志挖掘（Log Mining）的权限。日志挖掘是一种用于分析和提取数据库变更信息的技术。