基于Flink-1.11版本 本地源码编译构建sql-client的流式应用

本文档介绍了如何在Flink-1.11版本下,通过源码编译构建sql-client进行流式应用。首先,通过docker-compose启动相关容器。然后,详细阐述了在IDEA中准备环境,下载Scala插件,编译源码,解决缺失jar包问题的过程。接着,展示了非源码和源码启动Flink以及sql-client的方法,并提供了启动参数配置。最后,给出了测试数据的创建和数据推送至Kafka的步骤。
摘要由CSDN通过智能技术生成

前言

想试一下flink的sql怎么跑的,去年看到JarkWu大佬有分享过,但一直没有实操过,最近兴趣来了。
原Jarkwu分享 Demo:基于 Flink SQL 构建流式应用
JarkWu github flink-sql-demo
大佬是基于flink1.10版本的构建的,但是现在已经下不到发布的release版本包了,那就本地源码编译构建运行吧,此次基于flink1.11的版本,因为大佬提供了1.11版本的docker-compose 😃,省好多事

准备

  • 一台装有 docker 和 jdk8 的 Linux 或 MacOS电脑(windows应该也行)
  • flink源码下载 (github源码下载慢的改下hosts,git协议也能下)
git clone git://github.com/apache/flink.git
  • 本实战演示所依赖的组件全都编排到了容器中,因此可以通过 docker-compose 一键启动。你可以通过 wget 命令自动下载该 docker-compose.yml 文件,也可以手动下载。(这段话我抄的,再次感谢大佬的docker-compose.yml文件)
mkdir  flink-demo; cd flink-demo
wget https://github.com/wuchong/flink-sql-demo/blob/v1.11-EN/docker-compose.yml

使用docker-compose启动容器

大佬演示的docker组件全部准备好了,也可以用,放心下载。
在docker-compose.yml文件目录下执行docker-compose up -d启动容器,如果需要关闭执行docker-compose down命令。
如果启动成功可用docker ps命令查看容器运行情况或者使用客户端查看,主要是这几个启动成功
在这里插入图片描述

Flink源码编译运行

idea准备

  • 下载scala插件
  • 下载scala包
  • 切换分支1.11
  • 源码编译缺失的jar包下载(踩坑无数,时间都耗在这边,aliyun仓库拉不到,需手动下载)kafka-schema-registory-client-4.1.0.jar

编译源码

如果配置了maven环境变量,直接切Termina

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值