flink wordcount demo

demo 

package com.hbn.wc

import org.apache.flink.api.scala.{DataSet, ExecutionEnvironment}

import org.apache.flink.api.scala._


object WordCount {
  def main(args: Array[String]): Unit = {

    //获取执行环境
    val env = ExecutionEnvironment.getExecutionEnvironment

    //加载数据源
    //val inputData = env.fromElements("china is the best country","beijing is the capital of china")

    val  inputData:DataSet[String] = env.readTextFile("/Users/H/Code/flinklearning/src/main/resources/wordcount.txt")
    //转化处理数据
    val result:DataSet[(String ,Int)] = inputData.flatMap(_.split(" ")).map((_,1)).groupBy(0).sum(1)

    //输出至目的端
    result.print()

    // 执行操作
    // 由于是Batch操作,当DataSet调用print方法时,源码内部已经调用Excute方法,所以此处不再调用,如果调用会出现错误
    //env.execute("Flink Batch Word Count By Scala")

  }
}

执行结果如图 

(you,2)
(flink,1)
(ok,1)
(world,1)
(hello,3)
(are,2)
(,3)
(how,1)
(spark,1)

 

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值