Flink -- WEB && Standalone Clusters

1. Flink Web

• Flink 对标 Spark，Spark 自带了一个 Web 页面可以查看 Job 的执行情况，Flink 运行过程中，查看打印的 Log 中没有发现对应的 Web。
• Flink 中如果需要打开 WEB 页面，则需要添加一个依赖。

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-runtime-web_2.12</artifactId>
    <version>1.11.2</version>
</dependency>

• 在控制台上面可以看到

[main] INFO org.apache.flink.runtime.dispatcher.DispatcherRestEndpoint - Web frontend listening at http://localhost:56025.

• 可以查看 Flink 的 Web UI

2. Flink Standalone Clusters 部署

官方部署文档地址

• 本次下载的是 Scala 2.12、Flink 版本为1.11.2 版本的 Flink 集群包

下载地址

2.1 下载&&解压

[hadoop@bigdata ~]$ cd software/
[hadoop@bigdata software]$ wget https://archive.apache.org/dist/flink/flink-1.11.2/flink-1.11.2-bin-scala_2.12.tgz
[hadoop@bigdata software]$ tar -xzvf flink-1.11.2-bin-scala_2.12.tgz -C ~/app/
[hadoop@bigdata software]$ cd ~/app/

2.2 修改配置文件

[hadoop@bigdata app]$ cd flink-1.11.2/
[hadoop@bigdata flink-1.11.2]$ ll
总用量 580
drwxr-xr-x.  2 hadoop hadoop   4096 9月  10 2020 bin
drwxr-xr-x.  2 hadoop hadoop   4096 9月  10 2020 conf
drwxr-xr-x.  7 hadoop hadoop     76 9月  10 2020 examples
drwxr-xr-x.  2 hadoop hadoop   4096 9月  10 2020 lib
-rw-r--r--.  1 hadoop hadoop  11357 8月  15 2020 LICENSE
drwxr-xr-x.  2 hadoop hadoop   4096 9月  10 2020 licenses
drwxr-xr-x.  2 hadoop hadoop      6 8月  16 2020 log
-rw-r--r--.  1 hadoop hadoop 555242 9月  10 2020 NOTICE
drwxr-xr-x.  3 hadoop hadoop   4096 9月  10 2020 opt
drwxr-xr-x. 10 hadoop hadoop    210 9月  10 2020 plugins
-rw-r--r--.  1 hadoop hadoop   1309 8月  15 2020 README.txt
[hadoop@bigdata flink-1.11.2]$ cd conf/
[hadoop@bigdata conf]$ vim flink-conf.yaml 
jobmanager.rpc.address: bigdata
taskmanager.numberOfTaskSlots: 4
rest.port: 18081
rest.address: 0.0.0.0

[hadoop@bigdata conf]$ vim masters 
bigdata:18081

2.3 启动 Flink 集群

[hadoop@bigdata conf]$ cd ../bin
[hadoop@bigdata bin]$ ./start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host bigdata.
Starting taskexecutor daemon on host bigdata.

• 打开 WEB UI

http://bigdata:18081/#/overview

2.4 提交一个应用程序

• Code

package com.xk.bigdata.flink.basic.scala

import org.apache.flink.api.java.utils.ParameterTool
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.streaming.api.scala._

/**
 * Scala Flink 流处理 WC
 */
object StreamingWcApp {

  def main(args: Array[String]): Unit = {

    val env = StreamExecutionEnvironment.getExecutionEnvironment
    val parameterTool = ParameterTool.fromArgs(args)
    val hostName = parameterTool.get("host", "bigdata")
    val port = parameterTool.getInt("port", 16666)
    env.socketTextStream(hostName, port)
      .flatMap(_.toLowerCase.split(","))
      .map((_, 1))
      .keyBy(_._1)
      .sum(1)
      .print()

    env.execute(this.getClass.getSimpleName)
  }

}

• 打包放到服务器上面
• 提交 Job

[hadoop@bigdata bin]$ ./flink run -c com.xk.bigdata.flink.basic.scala.StreamingWcApp \
> /home/hadoop/lib/flink-basic-1.0.jar \
> --host bigdata \
> --port 16666
Job has been submitted with JobID 3c5dca4bd07fbdb773e40223058a1154

• 测试

[root@bigdata ~]# nc -lk 16666
spark
spark
spark,flink

• 打开 WEB 页面查看输出

(spark,1)
(spark,2)
(spark,3)
(flink,1)