基于Flink实时数仓——用户行为日志DWD层（1）

最新推荐文章于 2024-07-31 18:21:41 发布

养不起心爱的猫该如何是好

最新推荐文章于 2024-07-31 18:21:41 发布

阅读量371

点赞数 1

分类专栏：尚硅谷实时数仓文章标签： flink kafka big data

本文链接：https://blog.csdn.net/qq_46045632/article/details/122515326

版权

本文介绍了基于Flink构建实时数仓的DWD层，主要目标是识别新老用户并进行数据拆分。通过处理用户行为日志，将数据分为页面、启动和曝光三类，并利用侧输出流分别输出到对应的Kafka Topic。同时，针对脏数据进行了处理，并在遇到状态不为空的is_new=1用户时，修正其为老用户。

摘要由CSDN通过智能技术生成

用户行为日志DWD层实现目标：

识别新老用户，虽然客户端有新老用户的标识，但是不准确，需要用实时计算再次确认
利用侧输出流实现数据拆分，根据日志数据内容,将日志数据分为3类, 页面日志、启动日志和曝光日志。页面日志输出到主流,启动日志输出到启动侧输出流,曝光日志输出到曝光日志侧输出流
将不同流的数据推送下游的 Kafka 的不同 Topic 中

代码实现：

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import com.atguigu.utils.MyKafkaUtil;
import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.api.common.state.ValueState;
import org.apache.flink.api.common.state.ValueStateDescriptor;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.ProcessFunction;
import org.apache.flink.util.Collector;
import org.apache.flink.util.OutputTag;

public class BaseLogApp {
   

    public static void main(String[] args) throws Exception {
   

        //TODO 1.获取执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment