Flink入门示例——wordCount(二)

原创 2018年04月17日 16:01:02

说明(批处理)

  • 读取HDFS数据
  • 将处理结果写入HDFS

代码示例

package com.test

import org.apache.flink.api.scala._
import org.apache.flink.core.fs.FileSystem.WriteMode

/**
  * 读取hdfs数据,把处理结果结果再写入HDFS
  */
object WordCountBatch{

  /**
    * main函数传递的参数
    * hdfs://artemis-02:9000/tmp/lvxw/tmp/logs  hdfs://artemis-02:9000//tmp/lvxw/tmp/out
    * @param args
    */
  def main(args: Array[String]): Unit = {
    if(args.length!=2){
      println(s"${this.getClass.getSimpleName} must be two param:inputDir outputDir" )
      System.exit(1)
    }

    // window环境下,以hadoop身份远程放完HDFS
    System.setProperty("HADOOP_USER_NAME","hadoop")
    val Array(inputDir,outputDir) = args

    val env = ExecutionEnvironment.getExecutionEnvironment

    val text = env.readTextFile(inputDir)

    val result = text.flatMap ( _.split("\\s"))
      .map ((_, 1))
      .groupBy(0)
      .sum(1)

    result.setParallelism(2).writeAsCsv(outputDir,"\n",",",WriteMode.OVERWRITE)
    env.execute(this.getClass.getSimpleName)

  }
}

Flink_WordCount_代码实例

import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.fun...
  • BrotherDong90
  • BrotherDong90
  • 2017-09-27 18:42:52
  • 374

Flink WordCount实例讲解

摘要:本文主要讲了一个Flink的简单的可以本地运行的wordCount程序
  • Evankaka
  • Evankaka
  • 2017-05-04 09:21:53
  • 1903

Flink实现WordCount

import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.DataS...
  • daiyutage
  • daiyutage
  • 2017-04-14 15:29:02
  • 1147

Spark Streaming和Flink的Word Count对比

准备: nccat for windows/linux 都可以 通过 TCP 套接字连接,从流数据中创建了一个 Spark DStream/ Flink DataSream, 然后进行处理, 时...
  • youdianjinjin
  • youdianjinjin
  • 2017-05-02 16:28:44
  • 559

Flink之二 Flink安装及入门案例

Flink安装、作业提交案例
  • lisi1129
  • lisi1129
  • 2017-02-03 14:26:27
  • 2147

flink系列2 wordcount测试(windows)

参考文档 https://ci.apache.org/projects/flink/flink-docs-master/quickstart/setup_quickstart.html windo...
  • dataastron
  • dataastron
  • 2018-01-11 16:10:22
  • 89

Flink入门示例——wordCount(一)

说明(流处理)读取kafka流数据,每5s统计一次将处理结果写入Redis代码示例<?xml version="1.0" encoding="UTF-8&q...
  • believe2017slwx
  • believe2017slwx
  • 2018-04-17 16:00:16
  • 19

flink系列5 最简单的hello world

最简单的hello world //0.引入必要的程序元素 import org.apache.flink.api.scala._ object HelloFlink { def main(...
  • dataastron
  • dataastron
  • 2018-01-15 11:19:38
  • 94

第11课: 彻底解密WordCount运行原理

第11课: 彻底解密WordCount运行原理本节彻底解析wordcount运行原理:1,从数据流动视角解密WordCount,使用Spark作单词计数统计,数据到底是怎么流动的。2,从RDD依赖关系...
  • duan_zhihua
  • duan_zhihua
  • 2017-05-22 07:32:07
  • 523

JAVA:WordCount

java的wordcount其实也蛮简单的,但还是比scala复杂,比spark复杂。 package halve; import java.io.BufferedReader; import j...
  • ASD991936157
  • ASD991936157
  • 2016-07-17 23:40:12
  • 181
收藏助手
不良信息举报
您举报文章:Flink入门示例——wordCount(二)
举报原因:
原因补充:

(最多只允许输入30个字)