Flink 之ProcessAllWindowFunction

 

package flinkonkafka.streamHbase

import org.apache.flink.api.common.functions.FlatMapFunction
import org.apache.flink.streaming.api.functions.source.SourceFunction
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.streaming.api.scala.function.ProcessAllWindowFunction
import org.apache.flink.streaming.api.windowing.time.Time
import org.apache.flink.streaming.api.windowing.windows.TimeWindow
import org.apache.flink.util.Collector
import org.apache.flink.api.scala._

import scala.collection.mutable


object ProcessAllWindowWordCount {
  def main(args: Array[String]): Unit = {
    //设置环境
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.createLocalEnvironment()
    //设置数据源
    env.addSource(new SourceFunction[String] {
      override def run(ctx: SourceFunction.SourceContext[String]): Unit = {
        while (true) {
          ctx.collect("hello hadoop hello storm hello spark")
          Thread.sleep(1000)
        }
      }

      override def cancel(): Unit = {}
    })
      //计算逻辑
      .flatMap(_.split(" "))
      .map((_, 1))
      .timeWindowAll(Time.seconds(10), Time.seconds(10))
      .process(new ProcessAllWindowFunction[(String, Int), mutable.Map[String, Int], TimeWindow] {
        override def process(context: Context, elements: Iterable[(String, Int)], out: Collector[mutable.Map[String, Int]]): Unit = {
          val wordCountMap = mutable.Map[String, Int]()
          elements.foreach(kv => {
            wordCountMap.put(kv._1, wordCountMap.get(kv._1).getOrElse(0) + kv._2)
          })
          out.collect(wordCountMap)
        }
      }).flatMap(new FlatMapFunction[mutable.Map[String, Int], (String, Int)] {
      override def flatMap(value: mutable.Map[String, Int], out: Collector[(String, Int)]): Unit = {
        value.foreach(out.collect(_))
      }
    })
      .print()
    //提交任务
    env.execute("word count")
  }
}

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

꧁꫞ND꫞꧂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值