Scala Flink之WordCount的两种处理案列

已于 2022-07-04 11:21:07 修改
阅读量534 收藏 1
点赞数
分类专栏： flink 文章标签： scala flink
于 2022-07-04 11:17:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/byy_1993153190/article/details/125595339
版权
本文介绍了使用Scala结合Flink实现WordCount的两种方式，包括批处理和流处理。在批处理中，通过读取txt文件进行测试；而在流处理中，详细阐述了配置执行信息和查看实时结果的步骤。
摘要由CSDN通过智能技术生成
Scala Flink之WordCount的两种处理案列
一、批处理
import org.apache.flink.api.scala.ExecutionEnvironment
import org.apache.flink.api.scala._

/**
 * 批处理 WordCount
 */
object WordCount {
   
  def main(args: Array[String]): Unit = {
   
    // 创建一个批处理的执行环境
    val evn = ExecutionEnvironment.getExecutionEnvironment

    // 读取数据
    val inputPath = "E:\\Program Files\\scala_flink\\src\\main\\resources\\WordCount.txt"
    val inpatDataSet
最低0.47元/天 解锁文章
小狐白白
关注
专栏目录
【大数据入门核心技术-Flink】（六）Flink版本WordCount-Scala版本
09-15 158
2、核心java代码。Flink支持多种安装模式- Local—本地单机模式，学习测试时使用- Standalone—独立集群模式，Flink自带集群，开发测试环境使用- StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用- Flink On Yarn—计算资源统一由Hadoop YARN管理，生产环境使用本文主要演示Flink On Yarn模式的安装部署。
【Flink入门修炼】1-3 Flink WordCount 入门实现
最新发布
笨鸟先飞的博客
02-07 1865
本篇文章将带大家运行 Flink 最简单的程序 WordCount。先实践后理论，对其基本输入输出、编程代码有初步了解，后续篇章再对 Flink 的各种概念和架构进行介绍。 下面将从创建项目开始，介绍如何创建出一个 Flink 项目；然后从 DataStream 流处理和 FlinkSQL 执行两种方式来带大家学习 WordCount 程序的开发。
Flink实现WordCount(java和scala)
weixin_43861104的博客
07-17 471
本文是自己在初学flink时，实现的wordcount，特此记录一下！ 1.java版 package com.bigdata.flink.wc; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.tuple.Tuple2; import org.apa
Flink入门之WordCount（Scala语言）
Joker_Jiang3的博客
08-18 739
Flink入门之WordCount（Scala语言） 流式处理 一.创建一个Maven工程 1.pom.xml文件依赖 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <vers
flink简单应用: scala编写wordcount
eyeofeagle的博客
03-11 5622
在ida中创建maven项目，配置scala环境，调用flink-streaming-scala的api 1,配置pom.xml &amp;amp;amp;amp;amp;amp;lt;dependency&amp;amp;amp;amp;amp;amp;gt; &amp;amp;amp;amp;amp;amp;lt;groupId&amp;amp;amp;amp;amp;amp;gt;org.apache.flink&amp;amp
flink scala编写wordcount
tmaczt的博客
11-24 275
开发工具：idea+netcat 1、使用idea新建项目 step1: 新建maven项目 step2: 指定项目基本信息 step3: pom文件增加flink与scala依赖项 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-scala_2
Flink WordCount Scala版
weixin_42133361的博客
06-30 208
package batchwordcount import org.apache.flink.api.scala.ExecutionEnvironment import org.apache.flink.api.scala._ object BatchWordCount { def main(args: Array[String]): Unit = { /** * 一、创建运行环境 */ // 创建批处理运行环境 val env = Execut
大数据HelloWorld-Flink实现WordCount
10-16
"大数据HelloWorld-Flink实现WordCount"是初学者入门Flink的典型示例，旨在介绍如何使用Flink处理数据并计算词频。在这个场景中，我们将讨论如何在本地环境中设置Flink、创建和运行一个简单的WordCount程序。 首先...
flink笔记1 使用Scala实现WordCount程序(批处理和流处理)
weixin_43631997的博客
03-30 1194
1.批处理实现 1.1代码讲解 1.val env = ExecutionEnvironment.getExecutionEnvironment 创建一个批处理的执行环境，主要注意引用的包应该是org.apache.flink.api.scala.ExecutionEnvironment 1.2附完整代码 import org.apache.flink.api.scala.ExecutionEnvironment import org.apache.flink.api.scala._ //.
scala编写flink批处理wordcount案例
qq_43414681的博客
09-03 234
flink wordcount添加maven依赖编写程序结果 添加maven依赖 <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-scala --> <dependency> <groupId>org.apache.flink</groupId> <artifactId>f
Flink实现WordCount案例
wanjialin的博客
02-05 897
案例需求： 需求：使用netcat工具向9999端口不断的发送数据，通过flink读取端口数据并统计不同单词出现的次数。 代码实现： import org.apache.flink.streaming.api.scala._ //导入隐式函数依赖 //import org.apache.flink.streaming.api.scala._ import org.apache.flink.streaming.api.windowing.time.Time object WordCountFromSocke
flink.3-入门wordcount(java scala双版本代码)
笔生花的博客
05-11 481
1.代码 /* * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding copyright ownership. The ASF licenses this fi.
flink-scala的wordcount案例（分别用流处理和批处理）
daxiongwuwuwuw的博客
07-31 395
worldcount样例1.流式2.批处理 1.流式 windows下载netcat，然后配置路径到path 命令行启动nc -l -p 8000监听端口 启动scala程序，代码如下 import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment} object StreamWcApp { //流处理，要往8000端口写数据 def main(args: Array[String]): U
(二) flink 快速入门之 wordcount scala/java 代码
qq_24186017的博客
03-02 367
目录 flink wordcount scala代码 pom配置 批处理wordcount 流处理wordcout flink wordcount scala代码 pom配置 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.12</artifactId> <version>1.12.1</
wordCount scala
猪坚强-历经磨难亦不忘初心
02-02 383
用scala写的wordCount import org.apache.spark.{SparkConf, SparkContext} import org.apache.log4j.{Level, Logger} object wordCount { Logger.getLogger("org").setLevel(Level.ERROR) def main(args: Array...
Flink系列---Flink批处理WordCount（Java、Scala版本）
Mr.Cao
02-27 1590
Flink系列---Flink批处理WordCount（Java、Scala版本） 一、配置Linux中的Flink HA集群 配置Flink HA集群 二、配置IDEA中Flink的环境 需要有Scala插件，百度一下即可。 三、代码级别 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project...
Scala WordCount
做一个好人
09-11 623
1.最基本的WordCount    var arr3 = Array("HIVE SPARK", "scala SPARK HBASE", "ZOOKEEPER","HIVE SPARK", "scala SPARK HBASE", "ZOOKEEPER") var arr4=arr3.flatMap(x =&gt; x.split(" "))
Flink基础入门实例【Scala简单统计WordCount、Window使用、选取输入中最大/小的值】
^_^TaeYang-Jade^_^
11-24 816
【使用简介】 一、Scala简单统计WordCount 在56.196上启动端口监听服务nc -lp 9999。 编写客户端处理 3. 运行程序，在56.196监听控制台数数据、客户端控制台输出统计结果 二、Window使用 三、选取输入中最大/小的值 【代码说明】 创建一个flink-test-bd工程,添加如下pom &lt...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值