Flink程序打包 maven配置（scala版本）

最新推荐文章于 2024-09-10 14:53:52 发布
最新推荐文章于 2024-09-10 14:53:52 发布
阅读量1.6k 收藏
点赞数
分类专栏： Flink
With__Sunshine
关注
专栏目录
Flink学习笔记04：将项目打包提交到Flink集群上运行（Scala版）
howard2005的专栏
03-26 1722
创建项目、打包项目、提交到Flink集群运行
【大数据入门核心技术-Flink】（六）Flink版本WordCount-Scala版本
09-15 158
2、核心java代码。Flink支持多种安装模式- Local—本地单机模式，学习测试时使用- Standalone—独立集群模式，Flink自带集群，开发测试环境使用- StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用- Flink On Yarn—计算资源统一由Hadoop YARN管理，生产环境使用本文主要演示Flink On Yarn模式的安装部署。
flink-1.9.2-bin-hadoop2.7-scala_2.12最新flink集群分布式版本
04-20
支持hadoop2.7.2 scala 2.12，编译完成的二进制包flink安装包，亲测可用，注意压缩包是250M，这才是正确的。其他100多M都不对。由于超过220M，所以提供百度云盘链接的形式。
flink学习（scala版）--第二章：Flink快速上手
simple_code
03-21 1072
flink快速上手
Flink Maven 依赖
王小工小工历程
08-05 947
定义：Apache Flink ML是Apache Flink的扩展库，提供了一套全面的机器学习（ML）API和基础设施，旨在简化机器学习管道的构建过程。开发者：Apache软件基金会编程语言：支持Python和Java，方便不同编程背景的开发者使用。
Flink Maven 打包 Scala和Java混编
wFitting的博客
07-13 1002
Flink Maven 打包 Scala和Java混编 今天在打包Flink Job的时候，虽然是打包成功了，但是提交到Flink上运行的时候报找不到类。一开始是找不到主类，后来在网上找了好多maven的打包配置，找不到主类的问题是好了。因为Flink Job中用到了ElasticSearch的Sink，发现ES的Sink底层都是用Java编写的，结果打包的时候打不进去，报找不到类的错误。最终结合了网上许多的maven配置，终于成功了。 下面我把pom.xml文件中build部分内容分享出来，希望可以帮到大
Flink 入门级别代码 单词统计 Java版本和scala 版本(一)
Cincinnati_De的博客
02-12 1945
单词批处理: scala版本: package liangde.tech import org.apache.flink.api.scala.ExecutionEnvironment import org.apache.flink.streaming.api.scala._ /** * Scala版本 */ object BatchWordCountScala { de...
Flink_Scala_pom编译打包文件
cts618
06-14 313
Flink_Scala_pom编译打包文件
a5源码java-flink-maven-scala:flink技术学习笔记分享
06-11
a5源码 java 技术交流 微信:thinktothings 微博: Flink版本为1.7.2 本站持续更新中.......2019-03-13....... 源码 Flink源码分析视频集 ..../flink-maven-scala-2-0.0.1.jar 创建flink java 项目 mvn archetype:g
flink程序 官方测试工具 scala版本 本地亲测
最新发布
yy的博客
09-10 212
udf测试 flinkc程序测试。
flink CDC scala版本实战
大数据
07-24 1341
flink cdc scala版本演示
flink的pom和settings.xml设置
02-11
练习flink时的pom和settings.xml设置
01-flink-1.10.1开发flink代码需要的maven依赖
m0_37813354的博客
08-15 759
1 flink-scala依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.12</artifactId> <version>1.10.1</version> </dependency> 2flink-streaming-scala <depen.
flink开发maven idea配置
weixin_38251332的博客
04-19 4439
pom.xml文件： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.
搭建flink的Scala的开发环境
ws200310的博客
09-15 467
IDEA 全称 IntelliJ IDEA，是java编程语言的集成开发环境。
Flink源码编译部署Flink
StephenLu0422的博客
01-30 4235
概述 通过编译Flink源码，可以更好的了解Flink的内部情况，并可以对以后Flink调试和bug修复提供基础环境。该思路已通过之前编译spark,ranger,hadoop源码等实践得以验证，现复用以前的思路。 编译 1.编译环境准备 环境 版本 备注 Mac OS 10.14.1 java 1.8.0_171 scala 2.11.12 maven 3.5....
flink中idea配置pom.xml
hzp666的博客
12-09 1640
-Flink 本地测试wei ui依赖 http://127.0.0.1:8081/ -->--Flink Table API 核心依赖-->--这里没引打包插件 需要的自己引用-->--Flink rocksdb状态后依赖 -->--Flink Java 项目核心依赖-->--Flink scala项目核心依赖-->--Flink 本地测试客户端依赖-->--Flink Kafka依赖-->--junit测试-->--Flink项目核心依赖-->--以下用到什么引用什么-->--本地测试核心依赖-->
解决maven依赖阿里云镜像无法下载flink-dist_2.12 (1.14.0-csadh1.6.1.x版本)的问题
wldxz1984755596的博客
12-26 224
解决阿里云镜像无法下载flink-dist
Flink所使用到maven依赖
影子
03-12 5872
Flink本身包含系统运行所需的类和依赖项，如协调、网络、检查点、故障转移、操作、资源管理等 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-core</artifactId> <version>1.9.0</version> </dependency> java版本依赖： <d
flink table maven 配置
06-03
Flink Table API 是 Flink 中的一个重要组成部分，使用 Table API 可以方便地进行数据处理和分析。下面是 Flink Table API 的 Maven 配置步骤： 1. 在 Maven 项目的 pom.xml 文件中添加以下依赖： ``` <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-api-java-bridge_${scala.binary.version}</artifactId> <version>${flink.version}</version> </dependency> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-planner_${scala.binary.version}</artifactId> <version>${flink.version}</version> </dependency> ``` 其中，${scala.binary.version} 表示 Scala 的二进制版本，${flink.version} 表示 Flink 的版本号。 2. 如果要使用 Flink 的批处理模式，还需要添加以下依赖： ``` <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-api-java-bridge_${scala.binary.version}</artifactId> <version>${flink.version}</version> <scope>provided</scope> </dependency> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-planner-blink_${scala.binary.version}</artifactId> <version>${flink.version}</version> <scope>provided</scope> </dependency> ``` 其中，flink-table-planner-blink 依赖表示使用 Flink 的 Blink 引擎。 3. 在 Flink 程序中，需要使用 TableEnvironment 类来创建 Table API 的执行环境，可以通过以下方式创建： ``` StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env); ``` 其中，StreamExecutionEnvironment 和 StreamTableEnvironment 分别表示 Flink 流处理和批处理的执行环境。 以上是 Flink Table API 的 Maven 配置步骤，根据实际情况可以进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值