【基础】【flink sql】hdfs到hive的逻辑处理一：通过正则解析日志数据

一、需求描述

通过正则获取HDFS log日志中指定字段的数据，并输出到HIVE表中。

flink版本1.12.7。

 
 

二、实现

1. 主要连接器依赖

        <!-- filesystem连接器 -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-files</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-csv</artifactId>
            <version>${flink.version}</version>
        </dependency>

 

2. udf：正则获取字段数据

package com.gao.function;

import org.apache.flink.table.annotation.DataTypeHint;
import org.apache.flink.table