flink应用

一、flink开发实现

1.1、flink程序基本结构

a、设置工作环境
b、设置数据源
c、使用算子进行数据计算及处理
d、设置数据输出源
e、提交执行

1.2、flink依赖包

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>flink_test</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <flink.version>1.11.3</flink.version>
        <scala.binary.version>2.11</scala.binary.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>
        <!--引入flink库-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>
    </dependencies>

</project>

二、flink日志管理

flink日志可使用log4j或log4j进行日志处理，log4j2特性更多，效率更好些。推荐使用log4j2进行日志处理。

2.1、log4j2日志使用

flink 11 版本默认支持log4j2，可直接使用。

// 日志jar包
import org.slf4j.LoggerFactory;
import org.slf4j.Logger;
...
// 定义logger对象
private static Logger logger = LoggerFactory.getLogger(class_name);
// 使用lo