最新Flink CDC-Oracle CDC配置及DataStream API实现代码，驱动核心源码详解和Binder超系统学习资源

最新推荐文章于 2024-07-25 09:48:00 发布

2401_84186109

最新推荐文章于 2024-07-25 09:48:00 发布

阅读量558

点赞数 3

文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84186109/article/details/138938242

版权

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

	* 设置数据库恢复文件存储区域的大小(如归档重做日志文件、控制文件备份等)
	```
	alter system set db_recovery_file_dest_size = 10G;
	
	```
	* 设置恢复文件的实际物理存储路径;scope=spfile参数设置讲persist到spfile参数文件中,即实例重启后也仍然生效
	```
	alter system set db_recovery_file_dest = '/opt/oracle/oradata/recovery\_area' scope=spfile;
	
	```
2. 立即关闭数据库。这会回滚所有未提交的事务,并断开所有连接的会话,然后关闭数据库实例

 
```
shutdown immediate;

```
3. 启动数据库,但只到‘挂载’阶段,此时数据库文件对用户还不可用。在这个阶段,DBA可以进行一些特殊的管理任务,比如数据库的恢复或者切换日志模式

 
```
startup mount;

```
4. 将数据库的日志模式切换为归档日志模式。在归档日志模式下,数据库会保存所有的重做日志文件,这对于数据库恢复和数据库备份非常重要。

 
```
alter database archivelog;

```
5. 将数据库从‘挂载’状态切换到‘开放’状态,此时数据库对用户可用,可进行正常的数据库操作。

 
```
alter database open;

```
6. 再次确认归档日志是否已启用！

 
```
select log_mode from v$database; -- 查询结果应为ARCHIVELOG。

```注意:


1. 启用归档日志需要数据库重启,请谨慎操作！
2. 归档日志会占用大量的磁盘空间,需定期清理过期的归档日志！

启用Supplemental logging
为捕获数据库中数据变更前的状态,必须在捕获的表或数据库上启用补充日志(Supplemental logging)
- 为数据库启用supplemental logging
```
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
```
- 为指定表启用supplemental logging
```
ALTER TABLE db.table ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;
```

第二步: 创建Tablespace表空间

表空间是用来存储数据库对象（如表、索引等）的逻辑结构。

在Oracle中创建一个名为"logminer_tbs"的表空间，数据文件的路径为"/opt/oracle/oradata/SID/logminer_tbs.dbf"，大小为25M，并且允许自动扩展，最大大小为无限。

执行以下SQL需要使用sysdba角色登录到Oracle数据库

CREATE TABLESPACE logminer_tbs DATAFILE '/opt/oracle/oradata/SID/logminer\_tbs.dbf' SIZE 25M REUSE AUTOEXTEND ON MAXSIZE UNLIMITED;

第三步: 创建用户并授予相应权限

执行以下SQL需要使用sysdba角色登录到Oracle数据库


GRANT CREATE SESSION TO cdc_user; -- 授予用户"cdc\_user"创建会话的权限，允许用户连接到数据库。
GRANT SET CONTAINER TO cdc_user; -- 授予用户"cdc\_user"切换到不同的容器（Container）的权限。容器是Oracle 12c中的概念，用于隔离和管理数据库资源。
GRANT SELECT ON V_$DATABASE to cdc_user; -- 授予用户"cdc\_user"对系统视图"V\_$DATABASE"的SELECT权限。该视图提供了关于数据库实例的信息。
GRANT FLASHBACK ANY TABLE TO cdc_user; -- 授予用户"cdc\_user"对任意表进行闪回（Flashback）操作的权限。闪回是一种用于还原或查询数据库历史数据的功能。
GRANT SELECT ANY TABLE TO cdc_user; -- 授予用户"cdc\_user"对任意表进行SELECT操作的权限。
GRANT SELECT_CATALOG_ROLE TO cdc_user; -- 授予用户"cdc\_user"执行SELECT\_CATALOG\_ROLE角色的权限。SELECT\_CATALOG\_ROLE角色允许用户查询数据库的元数据信息。
GRANT EXECUTE_CATALOG_ROLE TO cdc_user; -- 授予用户"cdc\_user"执行EXECUTE\_CATALOG\_ROLE角色的权限。EXECUTE\_CATALOG\_ROLE角色允许用户执行数据库的元数据操作。
GRANT SELECT ANY TRANSACTION TO cdc_user; -- 授予用户"cdc\_user"对任意事务进行SELECT操作的权限。
GRANT LOGMINING TO cdc_user; -- 授予用户"cdc\_user"进行日志挖掘（Log Mining）的权限。日志挖掘是一种用于分析和提取数据库变更信息的技术。

GRANT LOCK ANY TABLE TO cdc_user; -- 授予用户"flinkuser"锁定任意表的权限。(需开启。不开启的话，无法采集数据)

GRANT EXECUTE ON DBMS_LOGMNR TO cdc_user; -- 授予用户"cdc\_user"执行DBMS\_LOGMNR包中的过程和函数的权限。DBMS\_LOGMNR包提供了用于日志挖掘的功能。
GRANT EXECUTE ON DBMS_LOGMNR_D TO cdc_user; -- 授予用户"cdc\_user"执行DBMS\_LOGMNR\_D包中的过程和函数的权限。DBMS\_LOGMNR\_D包扩展了DBMS\_LOGMNR包的功能。

GRANT SELECT ON V_$LOG TO cdc_user; -- 授予用户"cdc\_user"对系统视图"V\_$LOG"的SELECT权限。该视图提供了关于日志文件的信息。
GRANT SELECT ON V_$LOG_HISTORY TO cdc_user; -- 授予用户"cdc\_user"对系统视图"V\_$LOG\_HISTORY"的SELECT权限。该视图提供了关于历史日志文件的信息。
GRANT SELECT ON V_$LOGMNR_LOGS TO cdc_user; -- 授予用户"cdc\_user"对系统视图"V\_$LOGMNR\_LOGS"的SELECT权限。该视图提供了关于日志挖掘所使用的日志文件的信息。
GRANT SELECT ON V_$LOGMNR_CONTENTS TO cdc_user; -- 授予用户"cdc\_user"对系统视图"V\_$LOGMNR\_CONTENTS"的SELECT权限。该视图提供了关于日志挖掘的内容信息。
GRANT SELECT ON V_$LOGMNR_PARAMETERS TO cdc_user; -- 授予用户"cdc\_user"对系统视图"V\_$LOGMNR\_PARAMETERS"的SELECT权限。该视图提供了关于日志挖掘参数的信息。
GRANT SELECT ON V_$LOGFILE TO cdc_user; -- 授予用户"cdc\_user"对系统视图"V\_$LOGFILE"的SELECT权限。该视图提供了关于日志文件的信息。
GRANT SELECT ON V_$ARCHIVED_LOG TO cdc_user; -- 授予用户"cdc\_user"对系统视图"V\_$ARCHIVED\_LOG"的SELECT权限。该视图提供了关于已归档日志文件的信息。
GRANT SELECT ON V_$ARCHIVE_DEST_STATUS TO cdc_user; -- 授予用户"cdc\_user"对系统视图"V\_$ARCHIVE\_DEST\_STATUS"的SELECT权限。该视图提供了关于归档目标状态的信息。

Oracle CDC DataStream API实现

所使用软件的版本

java 1.8
Scala 2.11
Flink 1.14.2
Flink CDC 2.3.0
Source Oracle 19c
Sink MySQL 5.7
jackson 2.10.2

Oracle CDC DataStream API可实现一个job监控采集一个数据库的多个表.

1. 定义OracleSource


//源数据库连接配置文件


![img](https://img-blog.csdnimg.cn/img_convert/1230eafb8569fb0a5f69d273ad7a33a8.png)
![img](https://img-blog.csdnimg.cn/img_convert/5649577ec78c5471c0b2630dab3bd079.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

2401_84186109

关注

3
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
最新Flink CDC-Oracle CDC配置及DataStream API实现代码，驱动核心源码详解和Binder超系统学习资源

/源数据库连接配置文件!!**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。****[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)****一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
复制链接

扫一扫