基于Flink-1.11版本 本地源码编译构建sql-client的流式应用
前言
想试一下flink的sql怎么跑的,去年看到JarkWu大佬有分享过,但一直没有实操过,最近兴趣来了。
原Jarkwu分享 Demo:基于 Flink SQL 构建流式应用。
JarkWu github flink-sql-demo
大佬是基于flink1.10版本的构建的,但是现在已经下不到发布的release版本包了,那就本地源码编译构建运行吧,此次基于flink1.11的版本,因为大佬提供了1.11版本的docker-compose 😃,省好多事
准备
- 一台装有 docker 和 jdk8 的 Linux 或 MacOS电脑(windows应该也行)
- flink源码下载 (github源码下载慢的改下hosts,git协议也能下)
git clone git://github.com/apache/flink.git
- 本实战演示所依赖的组件全都编排到了容器中,因此可以通过 docker-compose 一键启动。你可以通过 wget 命令自动下载该 docker-compose.yml 文件,也可以手动下载。(这段话我抄的,再次感谢大佬的docker-compose.yml文件)
mkdir flink-demo; cd flink-demo
wget https://github.com/wuchong/flink-sql-demo/blob/v1.11-EN/docker-compose.yml
使用docker-compose启动容器
大佬演示的docker组件全部准备好了,也可以用,放心下载。
在docker-compose.yml文件目录下执行docker-compose up -d启动容器,如果需要关闭执行docker-compose down命令。
如果启动成功可用docker ps命令查看容器运行情况或者使用客户端查看,主要是这几个启动成功

Flink源码编译运行
idea准备
- 下载scala插件
- 下载scala包
- 切换分支1.11
- 源码编译缺失的jar包下载(踩坑无数,时间都耗在这边,aliyun仓库拉不到,需手动下载)kafka-schema-registory-client-4.1.0.jar
编译源码
如果配置了maven环境变量,直接切Termina

本文档介绍了如何在Flink-1.11版本下,通过源码编译构建sql-client进行流式应用。首先,通过docker-compose启动相关容器。然后,详细阐述了在IDEA中准备环境,下载Scala插件,编译源码,解决缺失jar包问题的过程。接着,展示了非源码和源码启动Flink以及sql-client的方法,并提供了启动参数配置。最后,给出了测试数据的创建和数据推送至Kafka的步骤。
最低0.47元/天 解锁文章
2万+

被折叠的 条评论
为什么被折叠?



