使用flink sql 客户端调试flink sql

需求:临时调试  flink sql

环境:flink on yarn ,使用yarn-session模式

步骤:

一、集群准备

  1. 启动zookeeper
  2. 启动hadoop集群(包括yarn、hdfs等),yarn执行计算,hdfs保存checkpoint
  3. 启动yarn-session:./bin/yarn-session.sh -d (-d标示后台执行),可在浏览器打开以下网址查看flink ui界面

此时所有运行程序包括:kafka是测试时需要读取kafka数据需要使用的

二、执行测试

  1. 启动sql客户端:./bin/sql-client.sh
  2. 执行测试sql
  3. 建kafka表:
    create table person(id string, name string)
    with(
        'connector'='kafka',
        'topic'='exam',
        'properties.bootstrap.servers'='hadoop102:9092',
        'properties.group.id'='xmx',
        'format'='json',
        'scan.startup.mode'='latest-offset'
    )

  4. 在命令行kafka生产数据:

    kafka-console-producer.sh --bootstrap-server hadoop102:9092 --topic exam
     
    {"id": "001", "name": "lily"}
    {"id": "002", "name": "max"}
  5. sql 客户端查看:
    select * from person;
  6. ui界面查看:

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值