FLINK 基于1.15.2的Java开发-入门

已于 2022-10-02 11:54:55 修改
阅读量1.7k 收藏 2
点赞数
分类专栏： flink 文章标签： flink 大数据 流批一体 flink java flink kafka
于 2022-10-02 01:51:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lifetragedy/article/details/127139438
版权
这篇博客介绍了如何基于Apache Flink 1.15.2进行Java开发，首先讲解了下载及运行Flink的步骤，然后展示了创建并运行一个简单的WordCount程序，该程序读取文本文件，统计单词频率，并将结果输出到本地文件或HDFS。开发环境要求使用OpenJDK11，通过maven-shard-plugin进行打包，并在Flink Web UI中提交任务。
摘要由CSDN通过智能技术生成

下载：Apache Flink: Downloads

下载后进入bin目录，如果是单机直接运行：

./start-cluster

运行后打开IE，输入http://localhost:8081

得到以下界面：

书写第一个例子，需求：读入一个.txt文件，按照空格统计每个词的重复次数，然后输出到一个output文件夹。

JDK：OpenJDK11（必须使用此JDK）

了解本专栏 订阅专栏 解锁全文 超级会员免费看
FLINK 基于1.15.2的Java开发-如何使用外部配置文件
lifetragedy的专栏
10-03 2105
在flink内如何读入配置文件的正确用法
FLINK 基于1.15.2的Java开发-连接kafka并把内容sink到redis
lifetragedy的专栏
10-02 1961
flink连接kafka并把相应的通过kafka输入的内容sink到redis
Flink - Java篇
热门推荐
.
02-28 1万+
文章目录前言一、概述1 Flink是什么2 架构分层3 数据处理流水线4 运行组件TaskManagerJobManagerResourceManagerDispatcher5 其他流式计算框架二、入门与使用1 Flink基本安装1.1 Linux1.2 Java1.3 Scala（待补充）1.4 集群模式2 常用API2.1 DataStream 流处理DataSourceTransformationSink示例一：自定义数据源（SourceFunction）示例二：自定义分区示例三：Socket通信示例
Flink学习精要：基于Java的实时流处理实战指南
最新发布
weixin_42668301的博客
10-13 847
本文还有配套的精品资源，点击获取 简介：Apache Flink是一个针对实时数据处理设计的开源流处理框架，本学习资料基于Java语言，深入讲解了Flink的基础知识、Java API以及实战案例。包括流处理概念、Flink架构、状态管理和容错机制、DataStream API详解、窗口操作、连接操作、事件时间处理、状态持久化和数据并行分布式处理。实战案例涉及实时日志分析、...
Java中的Flink编程
weixin_46372265的博客
07-17 1324
在当今快速发展的科技时代，实时数据处理成为了大数据领域的一个关键需求。传统的批处理框架已经难以应对日益增长的数据量和复杂的实时处理需求。而Apache Flink作为一种新兴的分布式流处理引擎，以其强大的实时数据处理能力和灵活的编程模型，迅速在Java开发者社区中崭露头角。Apache Flink是一个用于处理数据流和批处理数据的开源框架。它最初是由德国柏林的技术大学开发的一个研究项目，后来逐渐发展成为一个完整的流处理解决方案。
Flink程序入门 ( java API )
m0_55685698的博客
03-01 862
Flink程序其实就是对数据流DataStream 进行各种转换 简单来说Flink 由以下五个步骤构成： 1、执行环境 2 、数据源（source） 3 、数据转换操作（Transformation） 4 、数据输出（sink） 5 、触发程序执行
flink-streaming-java_2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-streaming-java_2.11-1.10.0.jar； 赠送原API文档：flink-streaming-java_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-streaming-java_2.11-1.10.0-sources.jar； 赠送Maven依赖信息文件：flink-streaming-java_2.11-1.10.0.pom； 包含翻译后的API文档：flink-streaming-java_2.11-1.10.0-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.flink:flink-streaming-java_2.11:1.10.0； 标签：flink、11、streaming、apache、java_2、jar包、java、API文档、中文版； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
flink 安装包 1.15.2(flink-1.15.2-bin-scala_2.12 .tgz)
10-08
2. **下载与解压**：从 Apache 官方网站或者镜像站点下载 flink-1.15.2-bin-scala_2.12.tgz 文件。下载完成后，使用解压工具将其解压到你希望的目录，例如 `~/flink-1.15.2`。 3. **配置 Flink**：进入解压后的目录...
FLINK 基于1.15.2的Java开发-搭建2主3从的生产集群环境
lifetragedy的专栏
10-03 1214
flink生产级高可用集群的搭建全解析
FLINK 基于1.15.2的Java开发-读文件并把内容 sink到redis
lifetragedy的专栏
10-02 1371
flink如何把文本文件按照固定规则切割后sink到redis的操作。
Java版Flink使用指南——自定义无界流生成器
方亮的专栏
07-08 1773
新建src/main/java/org/example/generator/UnBoundedStreamGenerator.java然后UnBoundedStreamGenerator实现RichSourceFunction接口主要实现SourceFunction接口的run和cancel方法。run方法用来获取获取，cancel方法用于终止任务。
flink-streaming-java_2.11-1.7.1-API文档-中英对照版.zip
04-07
赠送jar包：flink-streaming-java_2.11-1.7.1.jar 赠送原API文档：flink-streaming-java_2.11-1.7.1-javadoc.jar 赠送源代码：flink-streaming-java_2.11-1.7.1-sources.jar 包含翻译后的API文档：flink-streaming-java_2.11-1.7.1-javadoc-API文档-中文(简体)-英语-对照版.zip 对应Maven信息：groupId：org.apache.flink，artifactId：flink-streaming-java_2.11，version：1.7.1 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。 双语对照，边学技术、边学英语。
flink java
蛙爸爸的博客
04-14 3932
这里写目录标题5. Flink流处理API5.1 Environment执行环境5.2 Source数据源env.fromCollection 从集合读取数据env.readTextFile 从文件读取数据从kafka读取数据自定义数据源5.3 Transform转换算子一 单数据流基本转换：mapflatMapfilter二 基于key的分组转换keyBy()指定key的三种方式聚合（Aggregation）算子reduce归并三 多数据流转换ConnectUnion合流和Connect的区别？四 数据重
【FlinkStreaming】Kafka Sink Java
qq_38930129的博客
08-28 572
pom.xml依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.11.1</version> <scope>provided</scope>
FLINK 基于1.15.2的Java开发-实时流计算商品销售热榜
lifetragedy的专栏
10-02 1266
以下这个例子是全网段找不到的，连书上都不写的，它是一个基于flink1.15.2实时计算热卖商品销量排行榜的例子，它接近于生产级应用。后续会扩展成“生产级应用”的代码还缺了哪些关键技术点需要打通。
flink：java集成flink实现流数据处理（一）
55555的博客
09-27 3113
2、引入依赖对应flink相关的依赖需要单独说明下，其jar版本需要根据flink版本来定，flink 1.11之前版本使用的是scala2.11, 之后加入了对scala2.12的支持，不同的版本引入的jar名称不同，比如包有3个，对应不同的scala版本，则为对多个版本的兼容版一般我们根据scala版本来定，比如我这里使用flink1.13， 则对应scala2.12
flink 学习（一）java 整合 flink
码易的博客
04-05 5471
目录前言一、流、批处理二、hello world1.环境2.流处理3.批处理4.自动处理三、文件数据源1.从文件中读取2.从目录中读取 前言         Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。 一、流、批处理       &nbs
flink-java使用介绍，flink，java，DataStream API，DataSet API，ETL，设置 jobname
猛犸象
01-23 2021
flink-java使用介绍，flink，java，DataStream API，DataSet API，ETL
Flink源码剖析：flink-streaming-java 之 StreamGraph
foureyes
04-22 1746
文章目录1.DataStream API使用一览2. 源码剖析2.1 StreamExecutionEnvironment2.2 Transformation2.3 DataStream2.4 StreamOperator2.5 Function2.6 StreamGraph2.7 类之间的层级关系 本文主要围绕 Flink 源码中 flink-streaming-java 模块。介绍如何使用 D...
CDH6.2.0部署Flink依赖：flink-shaded-hadoop-2-uber-3.0.0-7.0解压缩指南
资源摘要信息:"flink-shaded-hadoop-2-uber-3.0.0-cdh6.2.0-7.0.jar是一个包含了Apache Flink运行时所需依赖的shade打包jar文件。Shade打包是指将Flink及其所依赖的库打包在一个jar文件中，用于简化部署过程。具体到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TGITCIC

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>