Flink CDC 读取oracle库数据性能优化

        Flink CDC 官方指导资料：Oracle | Apache Flink CDC

        通过综合考虑Oracle数据库配置、Flink作业配置以及其他优化措施，可以显著提升Flink CDC读取Oracle库数据的性能和效率。可以从以下几个方面进行：

一、Oracle数据库配置优化

1. ‌开启归档日志‌：
   • 通过执行sqlplus /assysdba或sqlplus/nolog命令连接数据库。
   • 使用archive log list命令检查归档日志是否开启。
   • 配置归档日志参数，如设置db_recovery_file_dest_size和db_recovery_file_dest。
   • 创建表空间并启用归档日志。
2. ‌优化日志参数‌：
   • 调整Oracle数据库的日志刷新参数，如log_buffer_size和log_write_batch_size，以减少日志刷新到磁盘的时间。
   • 增加redo log大小和减少归档频率，以减少CDC日志的延迟。
3. ‌启用CDC功能‌：
   • 确保Oracle数据库中启用了CDC（Change Data Capture）功能。
4. ‌使用并行查询‌：
   • 在Oracle数据库中使用并行查询以提高查询性能，从而减少延迟。

二、Flink作业配置优化

1. ‌增加并行度‌：
   • 在Flink作业中增加并行度（parallelism），以并行处理CDC事件，从而减少延迟。
   • 根据数据源的负载和Flink集群的计算能力，合理设置并行度。
2. ‌优化Checkpointing‌：
   • 调整Checkpointing间隔和模式，以减少Checkpointing对性能的影响。
   • 使用合适的状态后端，如RocksDB或HBase，以提高状态管理的性能。
3. ‌调整fetchTimeout和parallelism参数‌：
   • 增加fetchTimeout参数的值，让Flink CDC在读取Oracle数据库时更加宽松。
   • 在Flink SQL中设置parallelism参数来调整并行度。
4. ‌使用连接池‌：
   • 配置连接池（如DBCP或HikariCP）来复用数据库连接，减少新建和销毁session的开销。
5. ‌优化网络和I/O‌：
   • 使用高速网络减少数据传输延迟。
   • 使用SSD或NVMe存储设备提高I/O性能。
6. ‌监控和调整‌：
   • 定期监控Flink作业的性能指标，并根据需要调整配置。
   • 监控Oracle数据库的连接数，确保不超过最大连接数限制。

三、其他优化措施

1. ‌创建专属用户并赋予权限‌：
   • 在Oracle数据库中为Flink CDC创建专属用户，并赋予足够的权限以读取所需的数据。
2. ‌优化SQL查询逻辑‌：
   • 在Flink作业中优化SQL查询逻辑，减少不必要的JOIN操作和全表扫描，使用有效的索引策略减少数据库访问次数。
3. ‌分批次同步数据‌：
   • 如果全量同步的数据量非常大，可以考虑将同步任务分批进行，以减少单次同步的数据量和时间。
4. ‌使用物化视图‌：
   • 在Oracle数据库中考虑使用物化视图来预先计算和缓存部分或全部数据，以加速全量同步的读取操作。
5. ‌调整Oracle数据库会话参数‌：
   • 根据实际需求调整Oracle数据库的会话参数，如PROCESSES和SESSIONS，以允许更多的用户连接。