Flink Oracle CDC写入到HDFS

IT_xhf

已于 2022-04-08 09:14:25 修改

阅读量2.4k

点赞数 1

分类专栏： Flink oracle hadoop 文章标签： flink

于 2022-04-08 09:12:24 首次发布

本文链接：https://blog.csdn.net/IT_xhf/article/details/124032484

版权

本文介绍了如何使用Flink从Oracle数据库进行变更数据捕获（CDC），并将数据写入HDFS。重点在于处理Oracle的Number类型字段和实现HDFS的高可用性配置。对于Number字段，需通过设置属性decimal.handling.mode为double来正确解析，而HDFS的高可用可以通过在代码中直接设置相关参数来实现，避免引入XML配置文件。

摘要由CSDN通过智能技术生成

依赖包

引用maven依赖包

<oracle.cdc.version>2.2.0</oracle.cdc.version>
<hadoop.version>2.8.2</hadoop.version>
<avro.version>1.8.2</avro.version>
     <dependency>
        <groupId>org.apache.flink</groupId>
         <artifactId>flink-core</artifactId>
     </dependency>

     <dependency>
         <groupId>org.apache.flink</groupId>
         <artifactId>flink-table-api-java</artifactId>
     </dependency>

     <dependency>
         <groupId>org.apache.flink</groupId>
         <artifactId>flink-streaming-java_2.11</artifactId>
     </dependency>

     <dependency>
         <groupId>com.ververica</groupId>
         <artifactId>flink-sql-connector-oracle-cdc</artifactId>
         <version>${oracle.cdc.version}</version>
     </dependency>

     <dependency>
         <groupId>org.apache.flink</groupId>
         <artifactId>flink-connector-hive_2.11</artifactId>
     </dependency>

     <dependency>
         <groupId>

最低0.47元/天解锁文章

IT_xhf

关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
Flink Oracle CDC写入到HDFS

依赖包引用maven依赖包<oracle.cdc.version>2.2.0</oracle.cdc.version><hadoop.version>2.8.2</hadoop.version><avro.version>1.8.2</avro.version> <dependency> <groupId>org.apache.flink</groupId>
复制链接

扫一扫

专栏目录