Flink实战（一）：订单支付实时监控

一、背景

​ 在电商平台中，最终创造收入和利润的是用户下单购买的环节；更具体一点，是用户真正完成支付动作的时候。用户下单的行为可以表明用户对商品的需求，但在现实中，并不是每次下单都会被用户立刻支付。当拖延一段时间后，用户支付的意愿会降低。所以为了让用户更有紧迫感从而提高支付转化率，同时也为了防范订单支付环节的安全风险，电商网站往往会对订单状态进行监控，设置一个失效时间（比如15分钟），如果下单后一段时间仍未支付，订单就会被取消。

​ 本文将使用FlinkCEP库来实现这个功能。

二、基本需求

​ 1.用户下单之后，应设置订单失效时间，以提高用户支付的意愿，并降低系统风险

​ 2.用户下单后15分钟未支付，则输出监控信息

三、解决思路

​ 利用 CEP 库进行事件流的模式匹配，并设定匹配的时间间隔。

四、具体实验步骤

我们简化数据为：用户ID（orderId Long），事件类型（eventType String）,事件时间（eventTime Long）。

其中时间类型包括：create 和 pay

我们先将事件流按照订单号orderId分流，然后定义这样的一个事件模式：在15分钟内，事件“create”与“pay”非严格连续

1.创建maven工程

​ 可以叫做OrderTimeoutDetect。

2.配置pom文件

因为需要使用CEP库 所以要引入相关依赖

		<dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-cep_2.11</artifactId>
            <version>1.9.1</version>
        </dependency>

其他还有Flink通用的依赖

		<dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>1.9.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.11</artifactId>
            <version>1.9.1</version>
        </dependency>

编译打包方式官方推荐用maven-shade-plugin。完整pom链接

3.定义POJO

定义OrderEvent 完整类输入的订单事件流；另外定义OrderResult 完整类为输出显示的订单状态结果。

4.创建主类OrderTimeout

先创建流作业的环境已经简单的配置 使用的是事件时间

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
env.setParallelism(1);

测试用的自定义数据

DataStream<OrderEvent> dataSource = env.fromCollection(Arrays.asList(
                new OrderEvent(1L, "create", 1558430842L),
                new OrderEvent(2L, "create", 1558430843L),
                new OrderEvent(2L, "pay", 1558430844L)
        ))

有了数据源之后，我们需要对数据流按照orderId做keyby分流

KeyedStream<OrderEvent, Long> orderEventStream = dataSource.assignTimzestampsAndWatermarks(new AscendingTimestampExtractor<OrderEvent>() {
            @Override
            public long extractAscendingTimestamp(OrderEvent element) {
                return element.getEventTime() * 1000;
            }
        })
                .keyBy(new KeySelector<OrderEvent, Long>() {
                    @Override
                    public Long getKey(OrderEvent value) throws Exception {
                        return value.getOrderId();
                    }
                });

在做keyBy之前日常加上waterMark。因为我们这里的时间的顺序的 所以用assignTimzestampsAndWatermarks就行，生产中很少用。

这样就得到了一个KeyedStream，留着备用。

5.定义Pattern 匹配模式

Pattern<OrderEvent, OrderEvent> OrderPayPattern = Pattern.<OrderEvent>begin("begin").where(new SimpleCondition<OrderEvent>() {
            @Override
            public boolean filter(OrderEvent value) throws Exception {
                return value.getEventType().equals("create");
            }
        })
        //非严格连续 
        .followedBy("follow").where(new SimpleCondition<OrderEvent>() {
            @Override
            public boolean filter(OrderEvent value) throws Exception {
                return value.getEventType().equals("pay");
            }
        })
    //设定超时时间
    .within(Time.seconds(15));

6.定义超时支付的输出标签，用标签sideOutput

        OutputTag<OrderResult> orderTimeoutOutput = new OutputTag<OrderResult>("orderTimeout"){};

特别注意：不是简单的new 一个类，是一个匿名内部类

7.将keyBy后的流绑定模式 keyedStream转换成patternStream

PatternStream<OrderEvent> patternStream = CEP.pattern(orderEventStream, OrderPayPattern);

8.从patternStream中获取匹配的流（包括超时的和正常的 等等要分别处理）

DataStream<OrderResult> completedDataStream = patternStream.select(
   //第一个参数 刚定义的超时输出的标签 
   orderTimeoutOutput, 
   //第二个参数 处理超时的流
   new PatternTimeoutFunction<OrderEvent, OrderResult>() {
                @Override
                public OrderResult timeout(Map<String, List<OrderEvent>> pattern, long timeoutTimestamp) throws Exception {
                    Long timeoutOrderId = pattern.getOrDefault("begin", null).iterator().next().getOrderId();
                    return new OrderResult(timeoutOrderId, "timeout");
                }
            },
     //第三个参数 处理正常的流
     new PatternSelectFunction<OrderEvent, OrderResult>() {
                @Override
                public OrderResult select(Map<String, List<OrderEvent>> pattern) throws Exception {
                    Long payOrderId = pattern.getOrDefault("follow", null).iterator().next().getOrderId();
                    return new OrderResult(payOrderId, "success");
                }
            });

9.将获取到的completedDataStream中流分别输出

//正常支付
completedDataStream.print();
//超时支付
DataStream<OrderResult> sideOutput = ((SingleOutputStreamOperator<OrderResult>) completedDataStream).getSideOutput(orderTimeoutOutput);sideOutput.print();

10.最后别忘了

env.execute("order timeout job");

完整的代码链接

https://github.com/comsir/Flink-UserBehaviorAnalysis/tree/master/OrderTimeoutDetect