思考: 为什么 Flink 要弃用Scala API呢？

最新推荐文章于 2023-11-23 08:23:40 发布
最新推荐文章于 2023-11-23 08:23:40 发布
阅读量1.2k 收藏
点赞数
分类专栏： # Flink API 使用技巧 文章标签： scala flink spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42845827/article/details/129884472
版权

1. 问题描述

最近在学习 Flink API的时候，发现官网声明要废弃 Scala API，但是为什么呢？🤔🤔🤔

2. 个人浅薄的理解 

在使用 Flink Scala API 的时候，发下很多Scala代码都是对 Java API的调用，这样就带来了很多不必须要的使用麻烦，不像Spark底层使用Scala开发一样，所以我们可以使用 Scala API 直接调用

本质原因还是 Scala代码 也会被编译成.class文件，被JVM执行，这样多嵌套一层代码逻辑，必然会对执行效率造成影响

示例1: Scala API map 算子

示例2: Scala API readTextFile 方法

广阔天地大有可为
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Flink / Scala 实战 - 19.ProcessFunction 删除 key 的上一个定时器 TimeTimer
BITDDD小栈
03-07 1045
Flink ProcessFunction 删除 key 的上一个 Timer 定时器。
flink-1.14.4 安装包 scala 2.12
04-03
3. **编写作业**: 使用 Scala API 编写 Flink 流处理作业，例如读取数据源、应用转换和定义输出。以下是一个简单的 WordCount 示例： ```scala import org.apache.flink.streaming.api.scala._ val env = ...
为什么 Flink 抛弃了 Scala
最新发布
shengjk1的博客
11-23 1701
Java的可移植性和跨平台性也是其受欢迎的原因之一。另外，Java社区的活跃程度也是不容忽视的，Java的开发者群体庞大且经验丰富，他们可以为Flink提供宝贵的支持和指导，从而帮助用户更好地使用和优化Flink的功能。随着时间的推移，Flink社区的主要焦点已经转向JavaAPI，而Flink中的Scala支持与JavaAPI并不同步。Flink抛弃Scala的主要原因是因为，社区缺少Scala相关的人员，并且新的Api都是Java的，另外因为兼容性问题，Scala和JavaApi的发展并不同步。
flink-scala-2.12-1.14.3-API文档-中英对照版.zip
06-06
赠送jar包：flink-scala_2.12-1.14.3.jar； 赠送原API文档：flink-scala_2.12-1.14.3-javadoc.jar； 赠送源代码：flink-scala_2.12-1.14.3-sources.jar； 赠送Maven依赖信息文件：flink-scala_2.12-1.14.3.pom； 包含翻译后的API文档：flink-scala_2.12-1.14.3-javadoc-API文档-中文(简体)-英语-对照版.zip； Maven坐标：org.apache.flink:flink-scala_2.12:1.14.3； 标签：apache、flink、scala、中英对照文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。 双语对照，边学技术、边学英语。
Flink开发语言使用Java还是scala合适？
别人笑我太疯癫，我笑他人看不穿。
10-15 7919
可问题就是先它一步的spark，已经早在2010年对外开源发布得到了很多的代码贡献，更是在2012年的时候就发布了0.6的第一个正式版，我们都知道一个道理，一步快步步快，所以spark在第一个正式版本发出以后，进入了更快的发展，2013年的时候成为了Apache基金会下的项目，并在同年研发出了机器学习、流处理，以及spark sql的前身shark，再到2014年的时候，正式发布了1.0版本，不只有了图计算，而且还开发出了spark sql，更是成为了Apache顶级项目。Scala还是Java？
（三）Flink1.15 发布最新版本说明
京河小蚁的博客
05-18 6636
官网 https://nightlies.apache.org/flink/flink-docs-release-1.15/release-notes/flink-1.15 变化的依赖概况 在Flink 1.15中有几个变化，当从早期版本升级时，需要更新依赖项名称，主要包括从非Scala模块中选择排除Scala依赖项，以及重新组织表模块。 一个快速的依赖变化清单如下: 对以下模块的任何依赖都需要更新，以不再包含后缀: flink-cep flink-clients flink-connector-ela.
IntelliJ IDEA上搭建Flink开发环境——Scala版
x976269167的博客
04-27 9350
1、创建一个maven工程 2、填入GroupId和ArtifactId 3、继续点击Next，最后点击Finish创建工程 4、打开Setting，选择Plugins，下载Scala插件 5、下载完成，按照提示重启IntelliJ IDEA，然后打开Project Structure，选择Libraries，点击添加，选择Scala SDK版本 6、如果没有版...
flink-scala-2.11-1.10.0-API文档-中文版.zip
04-23
赠送原API文档：flink-scala_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-scala_2.11-1.10.0-sources.jar； 赠送Maven依赖信息文件：flink-scala_2.11-1.10.0.pom； 包含翻译后的API文档：flink-scala_2.11-1.10.0...
flink-scala_2.12-1.14.3-API文档-中文版.zip
04-07
赠送原API文档：flink-scala_2.12-1.14.3-javadoc.jar 赠送源代码：flink-scala_2.12-1.14.3-sources.jar 包含翻译后的API文档：flink-scala_2.12-1.14.3-javadoc-API文档-中文(简体)版.zip 对应Maven信息：...
Flink-Super:一套基于Scala开发的一套完整的Flink代码
03-04
综上所述，Flink-Super项目为开发者提供了一个完整的基于Scala的Flink开发环境，涵盖了从数据源到数据处理再到结果输出的全套流程，同时包含了最佳实践和学习资源，极大地简化了Flink应用的开发和维护工作。...
flink-scala_2.11-1.13.2-API文档-中英对照版.zip
06-05
赠送原API文档：flink-scala_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-scala_2.11-1.13.2-sources.jar； 赠送Maven依赖信息文件：flink-scala_2.11-1.13.2.pom； 包含翻译后的API文档：flink-scala_2.11-1.13.2...
Flink中解决乱序数据丢失问题Watermark(scala版)
weixin_48678923的博客
08-05 1511
1）.尽可能将最大乱序程度作为assignTimestampsAndWatermarks的值，这样可以保证数据不丢失，如果设置过大会影响实时性 .assignTimestampsAndWatermarks(new BoundedOutOfOrdernessTimestampExtractor[ApacheLogEvent](Time.seconds(1)) { //最大乱序程度，更加要处理的数据来查看 override def extractTimestamp(element: ApacheLog
Flink-ScalaApi常规
shufangreal的博客
03-03 589
常用的Flink算子操作 Flink的所有聚合算子类似sum、reduce等都需要在keyby之后才能使用，因为Flink会讲相同的key进行hash，然后切分成不同的子任务进行并行执行，实际上是一种强制优化。 所有的Flink的程序，都会有3个阶段的API： Source Transformation Sink 案例分析： 如果又个需求，需要统计一些简单数据的和 /**演...
Flink1.8快速入门与实战
08-29
《Flink1.8快速入门与实战》课程基于Flink最新版本V1.8，本套课程主要针对Flink进行讲解，大家学完以后能对Flink有一个快速的认识，能快速上手构建Flink项目以及搭建Flink生产集群环境。
Flink：从入门到放弃
程序园@大Null
05-19 2094
文章目录前言一、Flink简介1. Flink组件栈2. Flink基石 前言 待补充 一、Flink简介 Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。 1. Flink组件栈 每一层所包含的组件都提供了特定的抽象，用来服务于上层组件： 物理部署层： Flink 支持本地运行、能在独立集群或者在被 YARN 管理的集群上运行， 也能部署在云上，该层主要涉及Flink的部署模式，目前Flink支持多种部署模式：本地、集群(Standalone、YARN)、云(G
flink实时流与scala程序开发实用经验 - 十年磨两贱人
1066196847的博客
11-29 1049
本文是作者在用 flink 开发实时流数据的时候，对 flink 的一些总结经验，其中会重点讲到 “数据倾斜” 的解决方案 + 源码 文章结构： 1：flink本地如何模拟topic的实时流 2：flink在遇到数据倾斜的时候，应该怎么样写代码解决 一、先模拟topic发送数据的例子 1：在idea这个编译器上启动你的flink程序，这个程序里面最开始需要有个代码是设置你消费的数据从本地......
09_Flink入门案例、word-count程序（java和scala版本）、添加依赖、Flink Streaming和Batch的区别 、在集群上执行程序等
涂作权的博客
02-04 1214
1.9.Flink入门案例-wordCount 1.9.1.开发工具 1.9.2.编写java版本word-count程序 1.9.2.1.添加Flink Maven依赖 1.9.2.2.编写wordcount的java代码 1.9.2.3.数据准备 1.9.2.4.执行结果 1.9.3.编写scala版本word-count程序 1.9.3.1.添加Flink依赖 1.9.3.2.编写wordcount的scala程序 1.9.4.Flink StreamingWindowWordCount 1.9.5.
Flink 框架下scala与java混合编程问题
梦想成真那天
09-17 6718
最近在应用Flink做相关业务设计,使用scala与java的混合编程,遇到一些问题,在这里做个记录. 问题1: Error:(85, 23) value foreach is not a member of java.util.ArrayList[com.icsoc.report.model.Message[_]] for (msg <- messages) { 这...
Flink1.8新版发布:都有哪些改变
about云
04-20 2880
问题导读1.Flink1.8引入对什么状态的连续清理？2.保存点兼容性方面，不在兼容哪个版本？3.Maven依赖在Hadoop方便发生了什么变化？4.Flink是否发布带...
flink Scala版本要部署Scala么
07-20
是的，使用 Flink Scala API 需要在部署环境中安装和配置 Scala。Flink Scala API 是使用 Scala 编写的，因此你需要确保你的部署环境中安装了适当版本的 Scala，并且配置了正确的环境变量。这样才能在你的 Flink 作业中使用 Scala 语言编写代码并正确执行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值