Flink SQL实时数仓开源UI平台

一、简介

flink-streaming-platform-web系统是基于flink封装的一个可视化的web系统，用户只需在web界面进行sql配置就能完成流计算任务，主要功能包含任务配置、启/停任务、告警、日志等功能。目的是减少开发，完全实现 flink-sql 流计算任务，flink 任务支持单流、双流、单流与维表等，支持本地模式、yarn-per模式、STANDALONE模式。

支持udf、自定义连接器等,完全兼容官方连接器

目前flink版本已经升级到1.12

效果图

 

二、环境以及安装

1、环境

• 操作系统：linux  (不支持win系统)

• hadoop版本 2+

• flink 版本 1.12.0  官方地址: https://ci.apache.org/projects/flink/flink-docs-release-1.12/

• jdk版本 jdk1.8

• scala版本 2.11

• kafka版本 1.0+

• mysql版本 5.6+

2、应用安装

1、flink客户端安装

下载对应版本

https://www.apache.org/dyn/closer.lua/flink/flink-1.12.0/flink-1.12.0-bin-scala_2.11.tgz

然后解压

a: /flink-1.12.0/conf

1、YARN_PER模式

文件下面放入hadoop客户端配置文件

core-site.xml 
yarn-site.xml 
hdfs-site.xml

2、LOCAL模式

无

3、STANDALONE模式

无

以上三种模式都需要修改  flink-conf.yaml   开启 classloader.resolve-order 并且设置

classloader.resolve-order: parent-first

b: /flink-1.11.1/lib  hadoop集成

下载 flink-shaded-hadoop-2-uber-${xxx}.jar 到lib 
地址  https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.7.5-10.0/flink-shaded-hadoop-2-uber-2.7.5-10.0.jar

完毕后执行  export HADOOP_CLASSPATH=hadoop classpath

export HADOOP_CLASSPATH=hadoop classpath

2、flink-streaming-platform-web安装

a:下载最新版本 并且解压 https://github.com/zhp8341/flink-streaming-platform-web/releases/

 tar -xvf   flink-streaming-platform-web.tar.gz

b:执行mysql语句

mysql 版本5.6+以上

 创建数据库 数据库名：flink_web
 
 执行表语句
 语句地址 https://github.com/zhp8341/flink-streaming-platform-web/blob/master/docs/sql/flink_web.sql

c:修改数据库连接配置

/flink-streaming-platform-web/conf/application.properties  
改成上面建好的mysql地址