SQL 构建一个端到端的流式应用(版本1.11)
1 环境准备
创建一个目录,并切换到改目录
[root@bigdata1 ~]# mkdir -p /opt/module/flink-sql/
[root@bigdata1 ~]# cd /opt/module/flink-sql/
从githup上下载 docker-compose.yml 文件到次目录 https://github.com/wuchong/flink-sql-demo/blob/v1.11-EN/docker-compose.yml
该 Docker Compose 中包含的容器有:
- Flink SQL Client: 用于提交 Flink SQL
- Flink集群: 包含一个 JobManager 和 一个 TaskManager 用于运行 SQL 任务。
- DataGen: 数据生成器。容器启动后会自动开始生成用户行为数据,并发送到 Kafka 集群中。默认每秒生成 2000 条数据,能持续生成一个多小时。也可以更改
docker-compose.yml
中 datagen 的speedup
参数来调整生成速率(重启 docker compose 才能生效)。 - MyS