flink本地运行及访问webui

1 webui的依赖

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-runtime-web_2.11</artifactId>
    <version>${flink.version}</version>
    <scope>${scope.type}</scope>
</dependency>

-

2 本地运行代码

import org.apache.flink.api.common.eventtime.WatermarkStrategy
import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.configuration.{Configuration, RestOptions}
import org.apache.flink.connector.kafka.source.KafkaSource
import org.apache.flink.connector.kafka.source.enumerator.initializer.OffsetsInitializer
import org.apache.flink.streaming.api.scala.{StreamExecutionEnvironment, createTypeInformation}
import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment

object DataStreamReadKafka {

    def main(args: Array[String]): Unit = {

        // 创建带webui的本地执行环境
        val conf = new Configuration()
        conf.setString(RestOptions.BIND_PORT, "8081") // 指定访问端口
        val env = StreamExecutionEnvironment
                .createLocalEnvironmentWithWebUI(conf)
        env.setParallelism(1)
        val tab_env = StreamTableEnvironment.create(env)

        // 读取kafka数据
        val topics = "test,test_2".split(",").toList
        val source = KafkaSource
                .builder[String]
                .setBootstrapServers("localhost:9092")
                .setTopics(topics: _*)
                .setGroupId("shy_test")
                .setStartingOffsets(OffsetsInitializer.earliest)
                .setValueOnlyDeserializer(new SimpleStringSchema())
                .build
        val input_stream = env.fromSource(source, WatermarkStrategy.noWatermarks(), "kafka_source")
        input_stream.print()

        // 启动执行环境
        env.execute()

    }

}

3 访问webui

http://localhost:8081/

注意: 每个任务指定一个端口访问webUI

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值