idea之flink

最新推荐文章于 2023-11-11 21:56:06 发布
最新推荐文章于 2023-11-11 21:56:06 发布
阅读量276 收藏
点赞数
分类专栏： BigData 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/apawnchuck_129/article/details/104499215
版权

flink之idea篇

目录

flink之idea篇

(1)明智一

(2)明智二

(1)明智一

在idea等开发工具中运行代码的时候,需要把依赖配置项中的scope属性注释掉.在编译打jar包的时候,需要开启scope属性,这样最终的jar包就不会把这些依赖包也含进去,因为集群本身是有Flink的相关依赖的.

(2)明智二

自定义source

要继承自org.apache.flink.streaming.api.functions.source.SourceFunction,可先看接口源码，里面注释写的也很清楚。

一般用org.apache.flink.streaming.api.functions.source.RichParallelSourceFunction这个继承了上面SourceFunction和RichFunction的接口。

 

 

 

 

 

 

 

happy9021
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
idea快速新建flink工程
yy的博客
08-10 504
// flink quickstart 目的: 用官方提供的现成pom快速写代码,新的maven依赖还是要自己手动添加. quickstart只有一些基础的pom给你提前写好了. goole 搜索flink doc idea中: 到此 flink的quickstart添加成功. 下面用它新建个项目 添加archetype并用他新建项目 必须先勾选 create from archetype. 才能点击模板 成功后idea目录结构和内容 ...
IDEA上运行Flink任务
热门推荐
程序员欣宸的博客
04-11 1万+
将最简单的flink任务在IDEA上开发和运行，为后面的深入学习和实践打好基础。
【Flink】利用IDEA快速搭建一个Flink工程
最新发布
lxtx
11-11 1055
在准备好所有的开发环境之后，我们就可以开始开发自己的第一个Flink程序了。首先我们要做的，就是在IDEA中搭建一个Flink项目的骨架。我们会使用Java项目中常见的Maven来进行依赖管理。
【Flink---02】Flink开发环境：IDEA
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
12-26 2765
第一步：创建项目 第二步：编辑pom.xml文件 第三步：配置日志 第四步：编写代码 (1) 数据准备 (2) 方式一：批处理 (3) 方式二：流处理 * 以有界流的方式 * 以无界流的方式
使用IntelliJ Idea开发Flink应用程序
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-25 1264
使用IntelliJ Idea开发Flink应用程序
在idea中运行flink程序所需要lib
11-19
在开发Apache Flink项目时，Idea（IntelliJ IDEA）是一个常见的集成开发环境选择，它提供了丰富的功能来支持Flink程序的编写、构建和运行。"在idea中运行flink程序所需要lib"这一主题主要涉及到如何配置Idea以便顺利...
Flink开发IDEA环境搭建与测试的方法
08-19
"Flink开发IDEA环境搭建与测试的方法" Flink是一个开源的分布式处理引擎，支持批处理和流处理两种模式。为了在IDEA中开发Flink应用程序，需要搭建相应的开发环境。下面将详细介绍Flink开发IDEA环境搭建与测试的方法...
flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
04-13
对开发者来说，本地IDEA调试Flink、Spark任务不涉及对象的序列化及反序列化，任务在本地调试通过后，执行在分布式环境下也可能会出错。 而将任务提交到集群进行调试还要走那些繁琐的流程太影响效率了。 因此，为方便...
flink-sql集成rabbitmq
06-29
`.idea`目录通常包含IntelliJ IDEA或其他IDE的项目配置文件，对于开发者来说，这些文件可以帮助他们在本地环境中快速设置和运行项目。 在实际应用中，这样的集成可以应用于各种场景，如实时日志分析、监控报警、...
IntelliJ IDEA导入项目手册及问题总结【Flink代码为例】.pdf
05-21
IDEA越来越流行，同时Flink企业已经开始普及，也收到大家的关注，后面我们要开始补充一些Flink的知识。为了后面打下基础，我们你这里交给大家如何使用IDEA。IDEA最重要的是导入项目，然后运行。这是我们学习Flink的...
在IDEA下运行flink环境及web ui,debug调试
leichangqing的博客
09-19 891
即使有一个很好的入门或一个伟大的（和免费的）实践培训，也总是有关于如何开始、如何调试问题或如何在 IDE 中启动项目的问题。在本文中，我们介绍了在本地环境中使用 Apache Flink 的基础知识和一些典型陷阱。在本地运行作业时，日志级别非常详细，可能很难在 Flink 消息之间找到您的消息。有关更多信息，请参阅 官方文档中的测试 Flink 作业。你也可以在官方的 Flink 训练测试中找到很好的例子。在 IDE 中运行 Flink 作业的好处之一是能够像往常一样使用断点调试 Flink 作业。
IDEA本地运行Flink-java版
u014034497的专栏
05-04 5830
1、背景 flink作为当前最火实时大数据框架，也想阅读其源码，并实战一下它 2、具体步骤 2.1 环境准备 jdk1.8+ 即可 ,因为flink 大部分是Java编写的 2.2 创建idea项目 和普通的创建maven java项目一样，没有区别 2.3 pom.xml配置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xs
IDEA中搭建flink开发环境，看这一篇就够了，亲测有效
weixin_45701550的博客
07-10 7383
在使用flink进行应用开发的时候，通常都是将开发的应用程序，提交到flink集群中，但是这样对应用程序开发调试很不方便，所谓磨刀不误砍柴工，下面我整理一个在mac上使用idea开发flink程序的配置教程，具体如下。添加flink应用程序开发必要的依赖： 此时启动开发的应用程序，会报错，报错信息如下： 报错原因主要在于应用提交后，无法启动本地flink框架。需要添加flink启动必须的依赖，该依赖是：flink-dist_2.11-1.11.2.jar，依赖的版本取决于下载flink包的版本，下载链接参考
Idea作为Flink开发环境
coco_kele的博客
06-12 540
Flink开发环境搭建操作手册 Flink环境的搭建我主要从两个方面的加以说明，一方面是Flink环境的安装，包括IDEA安装，Scala安装，Maven安装；另一方面是Flink的项目开发流程，包括Flink项目创建，编码，导出jar包。 一 Flink环境的安装 1 IDEA安装 1.1 IDEA简介 IDEA是JetBrains公司的产品，这家公司总部位于捷克共和国的首都布拉格，开发人员以严谨著称的东欧程序员为主。当前市面上还有另一款集成开发环境Eclipse也比较出色，我们选择IDE.
Flink学习9：配置idea开发flink-Scala程序环境
hzp666的博客
08-02 2918
我的CSDN资源中有ideeeeeeaaaaa。
idea快速创建flink项目
Wingkin的博客
06-18 8800
本文将介绍如何使用idea快速创建flink项目。
轻装上阵Flink--在IDEA上开发基于Flink的实时数据流程序
zhouqinxiong的专栏
03-16 709
前言 本文介绍如何在IDEA上快速开发基于Flink框架的DataStream程序。先直接上手！ 环境清单 案例是在win7运行。安装VirtualBox，在VirtualBox上安装Centos操作系统。所有资源都在百度云上，有需要请直接下载。安装教程基本都是傻瓜式，文章不做讲述，有需要直接网上搜索。 资源 版本 VirtualBox 5.2.16...
三 搭建 flink 开发环境(idea)
andy的博客
08-04 1489
文章目录1 在 idea 中添加依赖1.1 在创建目录时添加2 编写代码2.1 创建运行时环境2.2 添加 source生成流2.2.1 fromElements方法专门用几台数据生成流.2.2.2 也可以用socket来生成流:2.3 计算2.4 添加sink2.5 执行程序2.6 编译执行或者打成jar包3 jar在flink上运行3.1 启动 Flink 集群3.2 提交打包好的 JAR 包3.3 停止 Flink 集群3.4 查看标准输出日志的位置，在 log 文件夹中 1 在 idea 中添加依赖
IDEA搭建Flink开发环境及WordCount
L
05-19 2675
1、创建一个Maven项目并配置Java SDK和Scala SDK，如图： 这里选择的是jdk1.8和scala2.12版本。 2、添加pom依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...
idea 配flink
05-17
要在 IDEA 中使用 Flink，您需要执行以下步骤： 1. 下载和安装 Java Development Kit (JDK)。确保您安装的 JDK 版本符合 Flink 版本的要求。 2. 下载 Flink 安装包并解压缩。 3. 打开 IntelliJ IDEA。 4. 选择 File > New > Project。 5. 选择 Maven 项目类型。 6. 在 ArtifactId 字段中输入项目名称，例如 flink-demo。 7. 在 GroupId 字段中输入组名称，例如 com.example。 8. 单击 Next。 9. 在下一屏幕上，选择 Flink 依赖项。您可以从 Maven 仓库中搜索并添加 Flink 依赖项。例如，您可以添加以下依赖项： ``` <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.12.2</version> </dependency> ``` 10. 单击 Next。 11. 在下一屏幕上，选择项目的名称和位置。 12. 单击 Finish。 现在，您可以在 IntelliJ IDEA 中开始编写 Flink 应用程序了。您可以创建一个 Java 类，并在其中编写 Flink 代码。例如，以下是一个简单的 Flink 应用程序，它从一个文本文件中读取行并计算行数： ``` import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.DataSet; import org.apache.flink.api.java.ExecutionEnvironment; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.util.Collector; public class LineCount { public static void main(String[] args) throws Exception { final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); DataSet<String> text = env.readTextFile("/path/to/file"); DataSet<Tuple2<String, Integer>> counts = text.flatMap(new LineSplitter()) .groupBy(0) .sum(1); counts.print(); } public static final class LineSplitter implements FlatMapFunction<String, Tuple2<String, Integer>> { @Override public void flatMap(String value, Collector<Tuple2<String, Integer>> out) { String[] tokens = value.toLowerCase().split("\\W+"); for (String token : tokens) { if (token.length() > 0) { out.collect(new Tuple2<>(token, 1)); } } } } } ``` 在此代码中，我们使用 Flink 的 ExecutionEnvironment 类来创建一个执行环境，并使用 readTextFile 方法从文本文件中读取行。然后，我们使用 flatMap 函数将行拆分为单词，并使用 groupBy 和 sum 函数计算每个单词的出现次数。最后，我们使用 print 函数打印每个单词的计数。 您可以使用 IntelliJ IDEA 的调试器来调试 Flink 应用程序，并使用 Maven 构建和运行应用程序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值