flink WC socket 单词统计


import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment}
import org.apache.flink.streaming.api.windowing.time.Time

object WorldCountForSocket {
  def main(args: Array[String]): Unit = {

    //定义  socket port
    //    val port: Int = try {
    //      ParameterTool.fromArgs(args).getInt("port")
    //    }
    //    catch {
    //      case e: Exception => {
    //        System.err.println("no port specified. ")
    //        return
    //      }
    //    }

    case class WordWithCount(world: String, count: Long)

    val port: Int = 9999


    // 获取运行环境
    val evn: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    //    连接 socket获取数据
    val text = evn.socketTextStream("mini1", port, '\n')
    //    导入隐式转换
    import org.apache.flink.api.scala._
    //    解析数据,分组,窗口,聚合sum
    val wcSum: DataStream[WordWithCount] = text
      .flatMap { w => w.split("\\s") }
      .map { w => WordWithCount(w, 1) }
      .keyBy("world")
      //      处理时间,翻滚窗口
      .timeWindow(Time.seconds(5), Time.seconds(3))
      .sum("count")


    //输出
    wcSum.print().setParallelism(1)
    evn.execute("Socket Window WordCount")

  }
}



  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值