Flink 开发离线任务 WordCount

最新推荐文章于 2024-04-21 20:49:39 发布
最新推荐文章于 2024-04-21 20:49:39 发布
阅读量3.3k 收藏 1
点赞数 1
分类专栏： # Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzb348110175/article/details/104172914
版权
Flink 专栏收录该内容
34 篇文章 90 订阅 ¥39.90 ¥99.00
订阅专栏

本文开头附：Flink 学习路线系列 ^ _ ^

      提示：使用 Java Lambda表达式，开发 Flink 离线任务。我们可以参考：Lambda 表达式编写 Flink 实时任务，开发流程类似于 Flink 开发实时任务。

场景：

   我们使用 Lambda 表达式，来开发 Flink 离线任务 WordCunt

1.离线计算代码

离线计算，动态传递参数：args[0] 和 args[1]

/**
 * TODO 离线WordCount计算(Lambda表达式)
 *
 * @author liuzebiao
 * @Date 2020-2-4 17:37
 */
public class BatchWordCount {
   
    public static
了解本专栏 订阅专栏 解锁全文
扛麻袋的少年
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
flink离线mysql_Flink 流模式跑离线任务
weixin_34704521的博客
01-26 1518
通常的认识是：Flink 流模式跑流任务，批模式跑批任务，用流模式跑离线任务也是个有意思的事情虽然新版 Flink 已经在 sql 上实现了一定程度的流批一体，但是 DataStream 和 DataSet API 还是相差比较大的用 Flink 跑离线任务也是机缘巧合(也是必然，毕竟我不会 Spark)现在的项目组经常会跑历史数据，当然是批模式的，在用 Flink batch 被遇到各种各样的问...
【Flink入门】Flink离线批处理WordCount
fuyun6363的博客
01-13 756
flink离线批处理WordCount代码如下： package com.fuyun.flink // 因为很多算子Java和Scala名称都一样，必须要显示导入scala所有包告知使用Scala语言的算子，不然会报错 import org.apache.flink.api.scala._ object WordCount { def main(args: Array[String]): Unit = { // 定义输入输出文件路径 val input = "E:\\IDEAwo
Flink的安装、项目创建、任务打包和部署完整实现，任务实现使用JAVA语言
最新发布
川子的博客
04-21 2071
Flink的安装、项目创建、任务打包和部署完整实现，任务实现使用JAVA语言。
02-flink-1.10.1-离线开发WordCount
m0_37813354的博客
08-15 154
package com.study.liucf.bounded import org.apache.flink.api.scala.ExecutionEnvironment import org.apache.flink.api.scala._ /** * @Author liucf * @Date 2021/8/15 * flink1.10.1以Wordcount为例处理离线有界数据 * 一共分为4步： * ① 构建flink离线执行环境 * .
big-whale:Spark、Flink等离线任务的调度以及实时任务的监控
05-13
Big Whale 巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG调度和流处理任务的运行管理和状态监控，并具有Yarn应用管理、重复应用检测、大内存应用检测等功能。 服务基于Spring Boot 2.0开发，打包后即可运行。 概述 1.架构图 2.特性 基于SSH的脚本执行机制，部署简单快捷，仅需单个服务 基于Yarn Rest Api的任务状态同步机制，对Spark、Flink无版本限制 支持分布式 支持失败重试 支持任务依赖 支持复杂任务编排（DAG） 支持流处理任务运行管理和监控 支持Yarn应用管理 部署 1.准备 Java 1.8+ Mysql 5.1.0+ 下载项目或git clone项目 为解决 github README.md 图片无法正常加载的问题，请在hosts文件中加入相关域名解析规则，参考： 2.安装 创建
flink 离线计算helloworld
xuehuagongzi000的博客
09-26 2023
1、scala版本和flink包的版本一定要对应上。flink版本和kafka-flink版本也一定要对应上。否则程序会报错。 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifa...
flink安装包以及wordcount
02-03
下面将详细阐述Flink的安装步骤以及WordCount任务的实现。 **Apache Flink安装** 1. **下载Flink**: 首先，你需要从Apache Flink的官方网站（https://flink.apache.org/downloads.html）下载适合你操作系统的最新...
大数据实战启航班（Hadoop+Spark+Flink+离线计算+实时计算）
07-17
大数据实战启航班（Hadoop+Spark+Flink+离线计算+实时计算）,实战大数据|Hadoop|Spark|Flink|离线计算|实时计算
Java lambda表达式实现Flink WordCount过程解析
08-25
Java lambda表达式实现Flink WordCount过程解析 Java lambda表达式是Java 8中引入的一种新的编程方式，它可以使得代码更加简洁、...通过结合使用Java lambda表达式和Flink，可以实现更加复杂和高效的数据处理任务。
Flink 离线处理案例
qq_40233706的博客
03-24 2203
Dataset是flink的常用程序，数据集通过source进行初始化，例如读取文件或者序列化集合，然后通过transformation（filtering、mapping、joining、grouping）将数据集转成，然后通过sink进行存储，既可以写入hdfs这种分布式文件系统，也可以打印控制台，flink可以有很多种运行方式，如local、flink集群、yarn等. scala版本： ...
【性能调优】【离线任务】flink处理离线任务（8000个小文件？200多亿数据量？）稳定性与性能调优探索
hiliang521的博客
01-09 1755
【性能调优】【离线任务】flink处理离线任务（8000个小文件？200多亿数据量？）稳定性与性能调优
Flink处理大型离线任务稳定性与性能调优探索
360技术
04-10 1044
Apache Flink作为分布式处理引擎，用于对无界和有界数据流进行状态计算。其中实时任务用于处理无界数据流，离线任务用于处理有界数据。通过本文你将掌握让大型离线任务运行稳定的能力，同时能够通过分析离线任务运行特点，降低任务运行资源消耗，减少任务成本。下面我们进入正题：01—离线任务情况说明对于平台处理的离线任务，任务大都是处理：从HDFS到HIVE的数据清洗任务。这类任务的特点是数据来一条处理...
Flink - 批量、流式计算和离线、实时计算
hxx_xxh的博客
09-20 1796
批量、流式计算和离线、实时计算是按照不同维度划分的两套数据处理方式。批量、流式计算体现在数据计算方式的不同上。离线、实时计算则体现在对数据计算时延的要求上。
Flink Icerberg 离线数仓-项目准备（三）
wank1259162的博客
07-04 740
本节主要是创建模拟数据，包括事实表和维度表，并通过Flink映射为Icerberg数据表，构成DWD层数据。测试数据目录 baswewebsite.log 数据格式 member.log 数据格式 memberRegtype.log 数据格式 pcenter_mem_paymoney.log 数据格式 pcenterMemViplevel.log 数据格式 项目POM文件 文件目录结构 1. 拷贝测试数据目录下的文件到/tmp/warehouse
Flink1.9.1部署整合standalone集群【离线计算DataSet/实时计算DataStream】
09-19 420
一、环境准备 1.下载地址：https://flink.apache.org 下面那个hadoop的整合包要放到flink的lib中去。 2.上传到linux中去，并解压到相关目录 tar -zxvf flink-1.9.1-… apps/ 二、standalone部署 2.1 修改conf中的flink-conf.yaml # 1.主节点的主机名 jobmanager.rpc.address: hadoop01 # 2.节点的资源槽数 taskmanager.numberOfTaskSlots
初探Flink与第一个Flink程序-wordcount
apprentices的博客
08-16 486
Flink简介 Apache flink是一个开源的分布式、高性能、高可用、准确的 流处理框架，可对有限数据流和无限数据流进行有状态计算，可部署在各种集群环境下（local，standalone,yarn，以及云端）。统一的大数据分析和流计算、批计算及机器学习引擎，flink原生支持了迭代计算，内存管理和程序优化。Flink架构图如下（从官网拷贝）： 注：有限数据流是指有限的不会改变的数...
大数据flink框架入门分享(起源与发展、实时与离线计算、场景、处理流程、相关概念、特性普及、入门Demo)
龙飞的博客
03-06 2696
​ 起源于一个叫作 Stratosphere 的项目，它是由 3 所地处柏林的大学和欧洲其他一些大学在 2010~2014 年共同进行的研究项目，由柏林理工大学的教授沃克尔·马尔科（Volker Markl）领衔开发。2014 年 4 月，Stratosphere 的代码被复制并捐赠给了 Apache 软件基金会， 就是在此基础上被重新设计出来的。​ 在德语中，一词表示“快速、灵巧”。项目的 logo 是一只彩色的松鼠，当然了，这不仅是因为 Apache 大数据项目对动物
flink离线任务定时器使用
05-24
Flink提供了两种类型的定时器：事件时间定时器和处理时间定时器。 事件时间定时器基于事件时间，可以在数据流中插入一个事件时间戳，一旦到达指定时间，就会触发定时器。事件时间定时器适用于需要等待一段时间以获取完整结果的场景，例如处理窗口。 处理时间定时器基于处理时间，可以在数据到达后的固定时间间隔后触发定时器。处理时间定时器适用于需要在一定时间间隔内执行某个操作的场景，例如清理过期数据。 下面是一个使用处理时间定时器的示例代码： ``` DataStreamSource<String> source = env.fromElements("a", "b", "c"); source .map(new MapFunction<String, Tuple2<String, Long>>() { @Override public Tuple2<String, Long> map(String value) throws Exception { return Tuple2.of(value, System.currentTimeMillis() + 10000L); } }) .keyBy(0) .process(new KeyedProcessFunction<String, Tuple2<String, Long>, String>() { @Override public void processElement(Tuple2<String, Long> value, Context ctx, Collector<String> out) throws Exception { // 注册处理时间定时器，10秒后触发 ctx.timerService().registerProcessingTimeTimer(value.f1); // 保存状态 ValueState<String> state = getRuntimeContext().getState(new ValueStateDescriptor<>("value-state", String.class)); state.update(value.f0); } @Override public void onTimer(long timestamp, OnTimerContext ctx, Collector<String> out) throws Exception { // 处理时间定时器触发，输出状态中的值 ValueState<String> state = getRuntimeContext().getState(new ValueStateDescriptor<>("value-state", String.class)); out.collect(state.value()); } }) .print(); env.execute(); ``` 在上面的示例中，我们先从一个字符串数据源中获取数据，并使用MapFunction将每个字符串与当前时间戳组成一个Tuple2。然后，我们使用KeyedProcessFunction对每个Tuple2进行处理，其中我们注册了处理时间定时器，并将状态保存在ValueState中。当定时器触发时，我们可以从状态中获取值并输出。 需要注意的是，处理时间定时器的触发时间是相对于 Flink JobManager 的机器时间的，而不是相对于数据流中的事件时间。因此，在使用处理时间定时器时应特别注意处理时间与事件时间之间的差异。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

扛麻袋的少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值