flink-streaming实战-json数组解析

原创

已于 2022-06-01 20:31:34 修改 · 6k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#flink #json #kafka

于 2021-02-17 21:01:15 首次发布

本文介绍了如何使用Apache Flink Streaming API在Kafka源上处理JSON数据，并将其转换为ODPS兼容的格式，展示了从接收到解析、处理再到输出的完整流程。

之前实际开发都是用的blink-sql模式，还没实际开发过streaming模式的作业，有个简单的例子，特意记录下

因为下游我们是odps，目前没有jar包，这个之后调通了再加上

作业描述：

上游是kafka，原始数据格式为json数组，输出为json对象，本地日志打印输出，source连接参照阿里云的例子

package com.alibaba.blink.datastreaming;

import com.google.gson.JsonArray;
import com.google.gson.JsonParser;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.streaming.api.TimeCharacteristic;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.Str