需求:临时调试 flink sql
环境:flink on yarn ,使用yarn-session模式
步骤:
一、集群准备
- 启动zookeeper
- 启动hadoop集群(包括yarn、hdfs等),yarn执行计算,hdfs保存checkpoint
- 启动yarn-session:./bin/yarn-session.sh -d (-d标示后台执行),可在浏览器打开以下网址查看flink ui界面
此时所有运行程序包括:kafka是测试时需要读取kafka数据需要使用的
二、执行测试
- 启动sql客户端:./bin/sql-client.sh
- 执行测试sql
- 建kafka表:
create table person(id string, name string) with( 'connector'='kafka', 'topic'='exam', 'properties.bootstrap.servers'='hadoop102:9092', 'properties.group.id'='xmx', 'format'='json', 'scan.startup.mode'='latest-offset' )
- 在命令行kafka生产数据:
kafka-console-producer.sh --bootstrap-server hadoop102:9092 --topic exam
{"id": "001", "name": "lily"} {"id": "002", "name": "max"}
- sql 客户端查看:
select * from person;
- ui界面查看: