Flink 侧输出流

侧输流

DataStream 操作通常是输出一个流，但是我们有一些应用场景想将一个输入流拆分成两个或者多个数据流并输出，并且多个输出流的数据类型相同，其常见应用场景：

• 将一个输入数据流拆分成多个数据流技术实现可以使用Side Outputs (侧输出流)实现
• 将数据流某部分数据做标记再输出或者针对性处理也可以使用侧输流实现

侧输流步骤

• 定义侧输流标识

//   定义侧输出流 范型为侧输出流的输出数据类型；参数为侧输出流标识
val beijing = new OutputTag[String]("beijing")

• 添加侧输流

//    添加侧输出流 第一个参数是侧输对象，第二个为侧输出流的数据
context.output(beijing,i._1+"_"+i._2+"_"+i._3+"_"+i._4)

• 获取侧输流

//    获取侧输流  参数为侧输标识
ds.getSideOutput(new OutputTag[String]("beijing")).print("beijing")

代码

数据类型

2020-12-22 beijing 1 2
2020-12-2 shanghai 1 2
2020-12-2 tianjin 1 2

实现将数据合并，按照城市进行侧输出流

package 复习
import org.apache.flink.api.scala._
import org.apache.flink.streaming.api.functions.ProcessFunction
import org.apache.flink.streaming.api.scala.{DataStream, OutputTag, StreamExecutionEnvironment}
import org.apache.flink.util.Collector
object sideOutput {
  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    val ds: DataStream[String] = env.socketTextStream("localhost", 6666)
      .map(x => {
        val fields: Array[String] = x.split(" ")
        val date = fields(0).trim
        val province = fields(1)
        val add = fields(2).trim.toInt
        val prossbile = fields(3).trim.toInt
        (date, province, add, prossbile)
      })
      .process(new My_SideOutput)
//    获取侧输出流并打印
//     这里的过滤是将获取的结果进行判断
//    获取的数据格式类型是 2020-12-2_shanghai_1_2 这样的，判断他的字符串是否大于 22
    ds.getSideOutput(new OutputTag[String]("beijing")).filter(x=>x.length>22).print("beijing")
    ds.getSideOutput(new OutputTag[String]("shanghai")).print("shanghai")
    ds.getSideOutput(new OutputTag[String]("other")).print("other")

    env.execute("SideOutput")
  }

}

class My_SideOutput extends ProcessFunction[(String,String,Int,Int),String]{
//  定义侧输出流标识
 val beijing = new OutputTag[String]("beijing")
 val shanghai = new OutputTag[String]("shanghai")
 val other = new OutputTag[String]("other")
  override def processElement(i: (String, String, Int, Int), context: ProcessFunction[(String, String, Int, Int), String]#Context, collector: Collector[String]): Unit = {
//    将侧输出流判断并输出，以便下游接收
    if(i._2.equals("beijing")){
      context.output(beijing,i._1+"_"+i._2+"_"+i._3+"_"+i._4)
    } else if (i._2.equals("shanghai")) {
      context.output(shanghai, i._1 + "_" + i._2 + "_" + i._3 + "_" + i._4)
    }else{
      context.output(other, i._1 + "_" + i._2 + "_" + i._3 + "_" + i._4)
    }
  }
}