idea快速创建flink项目

已于 2022-08-23 18:25:01 修改
阅读量8.9k 收藏 43
点赞数 13
分类专栏： 大数据 文章标签： flink intellij idea
于 2021-06-18 17:43:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wing_kin666/article/details/118030808
版权
本文详细介绍了如何使用IntelliJ IDEA创建Flink项目。首先，需要从flink官网获取版本信息，然后在IDEA中选择Maven项目并创建自定义archetype。接着，确认Flink archetype是否添加成功，如果未找到，可以手动添加UserArchetypes.xml。最后，配置Maven项目，运行简单WordCount示例，完成Flink项目的搭建。
摘要由CSDN通过智能技术生成

本文将介绍如何使用idea快速创建flink项目。

1.flink官网查看flink版本

https://flink.apache.org/zh/downloads.html
在这里插入图片描述

2.idea创建一个新的项目，选择Maven项目，并选择"Create from archetype"，由于没有Flink的archetype，所以需要自己添加。这里version选择从flink官网查看到的flink版本。

groupId：org.apache.flink
artifactId：flink-quickstart-java
version：1.12.4或者1.13.1

在这里插入图片描述

点击OK后在archetype列表中查看Flink的archetype是否添加成功，添加成功的话如下图所示：
在这里插入图片描述

若没找到，可去C:\Users\[你的用户名]\AppData\Local\JetBrains\IntelliJIdea2021.2\Maven\Indices目录下新建UserArchetypes.xml文件，文件内容如下：

<archetypes>
    <archetype groupId="org.apache.flink" artifactId="flink-quickstart-java" version="1.13.1" />
最低0.47元/天 解锁文章
Wingkin-
关注
专栏目录
idea快速新建flink工程
yy的博客
08-10 512
// flink quickstart 目的: 用官方提供的现成pom快速写代码,新的maven依赖还是要自己手动添加. quickstart只有一些基础的pom给你提前写好了. goole 搜索flink doc idea中: 到此 flink的quickstart添加成功. 下面用它新建个项目 添加archetype并用他新建项目 必须先勾选 create from archetype. 才能点击模板 成功后idea目录结构和内容 ...
Flink开发IDEA环境搭建与测试的方法
08-19
主要介绍了Flink开发IDEA环境搭建与测试的方法,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Flink 入门案例介绍
weixin_44480009的博客
06-05 351
在 IDEA 中创建一个 Maven 工程：FlinkTutorial。
Flink -3- 一文详解安装部署以及使用和调优（standalone 模式 | yarn 模式）
最新发布
苍煜
07-24 2941
Yarn Application 与Per-Job 模式类似，只是提交任务不需要客户端进行提交，直接由JobManager来进行任务提交，每个Flink Application对应一个Flink集群，如果该Flink Application有多个job任务，所有job任务共享该集群资源，TaskManager也是根据提交的Application所需资源情况动态进行申请。Flink可以基于Yarn来运行任务，Yarn作为资源提供方，可以根据Flink任务资源需求动态的启动TaskManager来提供资源。
使用IntelliJ Idea开发Flink应用程序
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-25 1491
使用IntelliJ Idea开发Flink应用程序
【Flink】利用IDEA快速搭建一个Flink工程
lxtx
11-11 1167
在准备好所有的开发环境之后，我们就可以开始开发自己的第一个Flink程序了。首先我们要做的，就是在IDEA中搭建一个Flink项目的骨架。我们会使用Java项目中常见的Maven来进行依赖管理。
【Flink---02】Flink开发环境：IDEA
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
12-26 2872
第一步：创建项目 第二步：编辑pom.xml文件 第三步：配置日志 第四步：编写代码 (1) 数据准备 (2) 方式一：批处理 (3) 方式二：流处理 * 以有界流的方式 * 以无界流的方式
Flink IDEA项目创建
张之海的博客
07-08 1072
1 创建maven项目 创建完成后，项目结构如下图所示： 2 添加最低限度的API依赖 开发Flink程序需要最低限度的API依赖，最低的依赖库包括flink-scala，flink-Streaming-scala。大多数应用需要依赖其他类库或连接器，例如kafka连接器，TableAPI，CEP库等，这些不是Flink核心依赖库的一部分，因此必须作为依赖项手动添加到应用程序中。 打开Flink官网中的，复制最低依赖项： https://ci.apache.org/projects/flink/fl
使用IntelliJ IDEA+Maven开发Flink项目
xiaolegeaizy的博客
10-15 6277
对于熟悉Maven操作的读者来说，可以象上一节讲的那样，先在命令行用Maven命令快速生成Flink基本程序框架，然后导入到IDE中进一步开发。如果读者更熟悉IDE（例如，IntelliJ IDEA）的话，那么可以直接在IntelliJ IDEA中开发Maven程序。通过结合使用IntelliJ IDEA集成开发工具和Maven项目构建工具，我们可以方便快速地开发Flink项目。 一、在IntelliJ IDEA中创建Flink项目 第一步：启动IntelliJ IDEA，创建一个新的项目，如下图所示：
IDEA中搭建flink开发环境，看这一篇就够了，亲测有效
weixin_45701550的博客
07-10 7548
在使用flink进行应用开发的时候，通常都是将开发的应用程序，提交到flink集群中，但是这样对应用程序开发调试很不方便，所谓磨刀不误砍柴工，下面我整理一个在mac上使用idea开发flink程序的配置教程，具体如下。添加flink应用程序开发必要的依赖： 此时启动开发的应用程序，会报错，报错信息如下： 报错原因主要在于应用提交后，无法启动本地flink框架。需要添加flink启动必须的依赖，该依赖是：flink-dist_2.11-1.11.2.jar，依赖的版本取决于下载flink包的版本，下载链接参考
三 搭建 flink 开发环境(idea)
andy的博客
08-04 1493
文章目录1 在 idea 中添加依赖1.1 在创建目录时添加2 编写代码2.1 创建运行时环境2.2 添加 source生成流2.2.1 fromElements方法专门用几台数据生成流.2.2.2 也可以用socket来生成流:2.3 计算2.4 添加sink2.5 执行程序2.6 编译执行或者打成jar包3 jar在flink上运行3.1 启动 Flink 集群3.2 提交打包好的 JAR 包3.3 停止 Flink 集群3.4 查看标准输出日志的位置，在 log 文件夹中 1 在 idea 中添加依赖
IntelliJ IDEA导入项目手册及问题总结【Flink代码为例】.pdf
05-21
IDEA越来越流行，同时Flink企业已经开始普及，也收到大家的关注，后面我们要开始补充一些Flink的知识。为了后面打下基础，我们你这里交给大家如何使用IDEA。IDEA最重要的是导入项目，然后运行。这是我们学习Flink的开端。
快速启动flink项目
someInNeed的博客
03-15 1618
按照这个步骤1分钟内创建完成 idea-----File----new---Project------Maven----Create from archetype----Add Archetype 弹出框： GroupId填org.apache.flink ArtifactId填flink-quickstart-java Version填1.14.0 选中刚刚添加的Archetype，点Next 填写你要创建的这个flink demo的GroupId,ArtifactId,Version,点击
轻装上阵Flink--在IDEA上开发基于Flink的实时数据流程序
zhouqinxiong的专栏
03-16 710
前言 本文介绍如何在IDEA上快速开发基于Flink框架的DataStream程序。先直接上手！ 环境清单 案例是在win7运行。安装VirtualBox，在VirtualBox上安装Centos操作系统。所有资源都在百度云上，有需要请直接下载。安装教程基本都是傻瓜式，文章不做讲述，有需要直接网上搜索。 资源 版本 VirtualBox 5.2.16...
mvn创建flink项目
weixin_30920597的博客
06-27 375
使用如下项目骨架创建flink项目，结果被官方的下面这个创建方式坑了。。 mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-quickstart-java \ -DarchetypeCatalog=https://repositor...
怎样用 Idea 搭建flink项目
smartsteps的博客
01-03 6268
怎样用 Idea 搭建flink项目批处理环境搭建1.IDEA新建maven项目2.创建项目3. 添加scala文件夹4.增加scala配置5. 配置maven 批处理环境搭建 1.IDEA新建maven项目 2.创建项目 3. 添加scala文件夹 4.增加scala配置 5. 配置maven maven 配置 <?xml version="1.0" encoding="UTF-...
Flink系列——1 Idea的Flink开发环境搭建与Flink Wordcount 测试
张之海的博客
06-27 3009
1 下载Java 1 Flink 下载 Flink官网下载地址 随便选个下载，本文以Flink 1.13.1为例，注意链接名称“for scala 2.12”，后面在idea下载scala时必须下载scala 2.12版。 下载完成解压，一会使用。 2 IDEA 下载 3 scala 打开idea，创建项目。 File——>ProjectStrure——>Libraries 点击“+”,选择Scala SDK，点击download，下载与Flink一致的scala版本。完成。 ...
仅用java+IntelliJ IDEA+Maven搭建Flink项目
xuehuagongzi000的博客
08-18 1855
1、背景 只在有java+intellij（自带maven）的环境快速搭建flink项目 2、步骤（亲测有效） 一、在IntelliJ IDEA中创建Flink项目 第一步：启动IntelliJ IDEA，创建一个新的项目，如下图所示： 第二步：选择Maven项目，并选择"Create from archetype"： 第三步：自己添加Flink的archetype 添加flink-quickstart-scala的archetype如下图：repository是可选的 第四步：
idea 中模拟flink checkpoint
06-08
在IDEA中模拟Flink的Checkpoint，可以使用Flink提供的TestingUtils类来进行模拟。具体步骤如下： 1. 创建一个Flink的测试环境，可以使用TestingUtils类的createTestEnvironment方法来创建。 2. 在测试环境中，创建一个带有Checkpoint的DataStream。 3. 启动测试环境，并等待Checkpoint完成。 4. 对于每个Checkpoint，可以使用TestingUtils类的advanceTime方法来模拟时间的推进。 5. 在测试完成后，可以使用TestingUtils类的assertStreamEquals方法来验证DataStream的输出结果是否正确。 下面是一个简单的示例代码： ```java import org.apache.flink.streaming.api.CheckpointingMode; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.api.functions.source.SourceFunction; import org.apache.flink.streaming.api.watermark.Watermark; import org.apache.flink.streaming.api.windowing.time.Time; import org.apache.flink.streaming.util.TestStreamEnvironment; import org.apache.flink.test.util.AbstractTestBase; import org.junit.Test; import java.util.concurrent.TimeUnit; public class CheckpointTest extends AbstractTestBase { @Test public void testCheckpoint() throws Exception { StreamExecutionEnvironment env = TestStreamEnvironment.createTestStreamEnvironment(); env.enableCheckpointing(1000, CheckpointingMode.EXACTLY_ONCE); env.setParallelism(1); env.addSource(new SourceFunction<String>() { private volatile boolean running = true; @Override public void run(SourceContext<String> ctx) throws Exception { while (running) { ctx.collectWithTimestamp("hello", System.currentTimeMillis()); ctx.emitWatermark(new Watermark(System.currentTimeMillis())); TimeUnit.MILLISECONDS.sleep(500); } } @Override public void cancel() { running = false; } }) .keyBy(value -> value) .timeWindow(Time.seconds(1)) .reduce((value1, value2) -> value1 + " " + value2) .print(); env.execute(); // 模拟第一个checkpoint TestStreamEnvironment.setCurrentTime(1000); env.getCheckpointCoordinator().triggerCheckpoint(System.currentTimeMillis(), false); // 模拟第二个checkpoint TestStreamEnvironment.setCurrentTime(2000); env.getCheckpointCoordinator().triggerCheckpoint(System.currentTimeMillis(), false); } } ``` 上面的代码演示了如何在测试环境中模拟Flink的Checkpoint，其中使用了TestingUtils类的一些方法来模拟时间的推进和验证输出结果。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值