Flink1,2024年Java开发前景如何,Java月薪过万要掌握的技能

本文讲述了如何在IDEA上运行Flink任务时,通过修改Flink源码中的StreamExecutionEnvironment,将默认的8个TaskSlot调整为5个,以适应特定硬件配置。作者提供了详细步骤,包括准备本地Maven仓库,下载和编译Flink源码,以及在IDEA中进行配置。
摘要由CSDN通过智能技术生成
  1. 设置,让步骤1中的flink任务用上刚刚编译的flink1.9.2框架;

  2. 再次运行flink任务,验证修改后的flink框架是否生效;

IDEA上运行flink job工程

  1. 在IDEA上创建flink job的maven工程并运行,请参考《IDEA上运行Flink任务》

  2. 假设您已按上面的步骤在IDEA建好了flink job工程;

  3. 运行起来,在浏览器打开flink页面,如下图,绿框中显示一共有8个Task Slot:

在这里插入图片描述

  1. 之所以会有8个Task Slot,和下图红框中的代码有关,这是段flink框架源码(StreamExecutionEnvironment.java),入参parallelism是CPU核数,我这里是开了超线程的四核i5处理器,所以parallelism等于8:

在这里插入图片描述

  1. 今天的目标就是修改上图红框中的源码,然后在网页上看是不是生效了(Task Slot数量从8改成5);

准备工作

  1. maven中央仓库地址建议用阿里云的,否则会经常遇到jar下载超时错误,地址:http://192.168.50.43:8081/repository/aliyun-proxy/

  2. flink1.9.2源码的maven工程依赖了一个中央仓库没有的jar,GAV是io.confluent:kafka-schema-registry-client:3.3.1,您需要下载下来在本地仓库做mvn install操作,下载地址:http://packages.confluent.io/maven/io/confluent/kafka-schema-registry-client/3.3.1/kafka-schema-registry-client-3.3.1.jar

  3. 上述准备工作都需要您在本地maven上操作,但是如果您的条件允许,还是强烈推荐在内网搭建maven私服nexus3,参考:《群晖DS218+做maven私服(nexus3)》《Ubuntu部署和体验Nexus3》《Nexus3常用功能备忘》

下载flink1.9.2源码

flink1.9.2源码的下载地址:http://ftp.jaist.ac.jp/pub/apache/flink/flink-1.9.2/flink-1.9.2-src.tgz

修改和编译构建

  1. 将下载好的flink-1.9.2-src.tgz解压,得到文件夹flink-1.9.2

  2. 打开这个文件:flink-1.9.2/flink-streaming-java/src/main/java/org/apache/flink/streaming/api/environment/StreamExecutionEnvironment.java

  3. 如下图红框,找到createLocalEnvironment方法,把setParallelism的入参改成一个固定的数字(每个Task Slot都要分配内存,所以这个数字请不要改得太大,否则启动flink就会报错了,我这里改成了5):

在这里插入图片描述

  1. 在文件夹flink-1.9.2下,执行编译构建的命令:mvn clean install -DskipTests -Dfast

  2. 经历漫长等待后提示构建成功:

在这里插入图片描述

  1. 确认这个文件已生成,稍后就要用到:flink-1.9.2/flink-dist/target/flink-dist_2.11-1.9.2.jar

设置

  1. 为了用上刚刚构建出来的flink框架jar,要做些设置,打开之前运行的flink job应用,在项目上点击右键,点击菜单Open Module Settings,如下图:

在这里插入图片描述

  1. 接下来要做三个和jar有关的操作,注意每一步都很重要:

  2. 下图红框1中的flink-dist_2.11-1.9.2.jar文件,是《IDEA上运行Flink任务》一文中添加的,目的是提供网页服务,现在将其删除,操作如下图红框所示:

在这里插入图片描述

  1. 下图红框1中的maven依赖:org.apache.flink:flink-streaming-java_2.11:1.9.2,也请删除,操作如下图红框所示:

在这里插入图片描述

小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数初中级Java工程师,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年最新Java开发全套学习资料》送给大家,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
img
img
img

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助,可以添加下面V无偿领取!(备注Java)
img

最后

看完上述知识点如果你深感Java基础不够扎实,或者刷题刷的不够、知识不全面

小编专门为你量身定制了一套<Java一线大厂高岗面试题解析合集:JAVA基础-中级-高级面试+SSM框架+分布式+性能调优+微服务+并发编程+网络+设计模式+数据结构与算法>

image

针对知识面不够,也莫慌!还有一整套的<Java核心进阶手册>,可以瞬间查漏补缺

image

全都是一丢一丢的收集整理纯手打出来的

更有纯手绘的各大知识体系大纲,可供梳理:Java筑基、MySQL、Redis、并发编程、Spring、分布式高性能架构知识、微服务架构知识、开源框架知识点等等的xmind手绘图~

image

image

性能架构知识、微服务架构知识、开源框架知识点等等的xmind手绘图~

[外链图片转存中…(img-i8UTdX2q-1710690376933)]

[外链图片转存中…(img-QcQhKmEz-1710690376934)]

本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

  • 10
    点赞
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值