Flink
文章平均质量分 63
IT_xhf
这个作者很懒,什么都没留下…
展开
-
Flink Oracle CDC Connector源码解读
flink cdc是在flink的基础上对oracle的数据进行实时采集,底层使用的是debezium框架来实现,debezium使用oracle自带的logminer技术来实现。logminer的采集需要对数据库和采集表添加补充日志,由于oracle18c不支持对数据添加补充日志,所以目前支持的oracle11、12、19三个版本。原创 2023-04-25 19:32:54 · 3478 阅读 · 0 评论 -
基于Flink CDC实现实时数据采集(四)-Sink接口实现
基于Flink CDC实现实时数据采集原创 2022-08-02 20:13:40 · 887 阅读 · 0 评论 -
基于Flink CDC实现实时数据采集(三)-Function接口实现
基于Flink CDC实现实时数据采集原创 2022-08-02 19:57:42 · 496 阅读 · 0 评论 -
基于Flink CDC实现实时数据采集(二)-Source接口实现
基于Flink CDC实现实时数据采集原创 2022-08-02 19:45:58 · 561 阅读 · 0 评论 -
基于Flink CDC实现实时数据采集(一)-接口设计
基于Flink CDC实现实时数据采集工具开发原创 2022-08-02 19:35:29 · 941 阅读 · 0 评论 -
Flink和Spark中文乱码问题
近期开发Flink CDC 读取mysql数据写入到HDFS,发现写入中文乱码,排查了数据库编码和文件编码都没有问题,后来网上查了一些资料,修改flink.conf文件,新增如下内容Spark中文乱码也排查了数据库编码和文件编码没有问题,在程序启动参数中新增–conf spark.executor.extraJavaOptions=“-Dfile.encoding=UTF-8” --conf spark.driver.extraJavaOptions=“-Dfile.encoding=UTF-8”完整原创 2022-06-08 10:53:52 · 1593 阅读 · 0 评论 -
Flink Oracle CDC写入到HDFS
依赖包引用maven依赖包<oracle.cdc.version>2.2.0</oracle.cdc.version><hadoop.version>2.8.2</hadoop.version><avro.version>1.8.2</avro.version> <dependency> <groupId>org.apache.flink</groupId>原创 2022-04-08 09:12:24 · 2431 阅读 · 0 评论 -
通过Flink-Sql将Kafka数据写入HDFS
系列文章目录 提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加例如:第一章 Python 机器学习入门之pandas的使用提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录系列文章目录前言一、创建Hive Catalog二、创建表1.创建Kafka表2.创建Hive表3. 执行同步语句总结参考资料前言近期,公司有需求将Kafka的数据写入到Hive表中,当时看到Flink有一个File Connector可以将文件写入到HDFS,所以开始了解Flink-原创 2022-04-06 15:41:57 · 4625 阅读 · 2 评论