一杯咖啡半杯糖
让优秀成为一种习惯!
展开
-
【Flink】FlinkSQL实现数据从Hive到MySQL
未来Flink通用化,代码可能就会转换为sql进行执行,大数据开发工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台,去提交FlinkSQL实现任务,学习FlinkSQL势在必行。 本博客在sql-client(Flink自带的sql执行器)中模拟大数据平台的sql编辑器执行FlinkSQL,使用Flink实现数据从Hive传输到MySQL具体操作,本例子Flink版本1.13.6,具体操作如下:原创 2024-02-21 21:00:00 · 579 阅读 · 1 评论 -
【Flink】FlinkSQL实现数据从Kafka到MySQL
未来Flink通用化,代码可能就会转换为sql进行执行,大数据开发工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台,去提交FlinkSQL实现任务,学习Flinksql势在必行。 本博客在sql-client中模拟大数据平台的sql编辑器执行FlinkSQL,使用Flink实现数据从Kafka传输到MySQL具体操作,这个在生产开发中比较常用,通常生产用kafka作为数据的输入,本例子Flink版本1.13.6,具体操作如下:原创 2024-02-06 20:45:00 · 1107 阅读 · 1 评论 -
【Flink】FlinkSQL实现数据从MySQL到MySQL
我们在实际开发过程中可以使用Flink实现数据从MySQL传输到MySQL具体操作,本例子Flink版本1.13.6,具体操作如下:原创 2024-02-01 21:45:00 · 602 阅读 · 0 评论 -
【Flink】 FlinkCDC读取Mysql( DataStream 方式)(带完整源码,直接可使用)
简介: FlinkCDC读取Mysql数据源,程序中使用了自定义反序列化器,完整的Flink结构,开箱即用。本工程提供1、项目源码及详细注释,简单修改即可用在实际生产代码2、成功编译截图3、自己编译过程中可能出现的问题4、mysql建表语句及测试数据5、修复FlinkCDC读取Mysql数据时间戳差8小时问题6、自定义反序列化器让FlinkCDC读取和后续的处理更方便原创 2023-09-14 21:15:00 · 1056 阅读 · 0 评论 -
【Flink】批处理HDFS文件(带完整源码,直接可使用)
本博客基于1.13.6版本Flink,实现批处理提交到yarn执行,并实现读取HDFS上文件实现批处理,有完整的Flink代码,已完成编译,开箱简单修改即可用,避免了大家编程、编译、提交yarn上的一些错误。本工程提供1、项目源码及详细注释,简单修改即可用在实际生产代码2、成功编译截图3、linux提交命令4、提交到yarn上截图5、自己编译过程中可能出现的问题6、执行结果原创 2022-12-01 10:26:19 · 2114 阅读 · 1 评论 -
【Flink】从Kafka写入Kafka(带完整源码,直接可使用)
本博客基于1.13.6版本Flink,在Flink实际生产过程中需要把数据从kafka中读取,处理后写入kafka中继续其他的逻辑,本博客支持精准一次写入flink操作,适用于建设实时数仓过程中以及一些需要flink处理kafka的需求中,本程序可以在本地运行,也可提交到yarn上运行,有完整的Flink代码,已完成编译,开箱简单修改即可用,避免了大家编程、编译、提交yarn上的一些错误。本工程提供1、项目源码及详细注释,简单修改即可用在实际生产代码2、成功编译截图3、linux提交命令原创 2022-11-14 16:11:54 · 1198 阅读 · 0 评论 -
【Flink】从Kafka写入mysql(带完整源码,直接可使用)
Flink实际生产过程中需要把数据从kafka中读取,处理后写入mysql中作为查询展示,本程序可以在本地运行,也可提交到yarn上运行,完整的Flink代码,开箱简单修改即可用。本工程提供1、项目源码及详细注释,简单修改即可用在实际生产代码2、成功编译截图3、linux提交命令4、提交到yarn上截图5、自己编译过程中可能出现的问题6、测试kafka连接代码原创 2022-11-11 17:17:07 · 2073 阅读 · 1 评论 -
【Flink】 第一个Flink程序的编写(带完整源码,直接可使用)
帮助我们从0开始运行Flink本工程提供1、项目源码2、成功编译截图3、linux提交命令4、提交到yarn上截图5、自己编译过程中可能出现的问题原创 2022-10-26 17:28:06 · 800 阅读 · 0 评论