最新Flink1(1)，近期有什么面试

于 2024-05-13 20:38:51 发布
阅读量645 收藏 9
点赞数 17
分类专栏： 程序员 文章标签： python 学习 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60635035/article/details/138818688
版权

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

img
img

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！img

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

img

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

img

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。img

六、面试宝典

在这里插入图片描述

在这里插入图片描述

简历模板在这里插入图片描述

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

版本节点部署方式
flink-1.13.2-bin-scala_2.11.tgz192.168.244.129standalone
1.1 将软件安装包放入集群中

1.2、软件包解压
tar -zxvf flink-1.13.2-bin-scala_2.11.tgz

1.3、 配置系统环境变量
# 1、进入目录下
cd flink-1.13.2/

# 2、查看完整classpsth，然后复制
pwd 

# 3、编辑系统变量
sudo  vim  /etc/profile

#4、配置变量环境
export FLINK_HOME=/home/liyaozhou/lyz/flink-1.13.2
export PATH=$PATH:$FLINK_HOME/bin

#5 刷新系统变量环境
source /etc/profile

#6 查看是否配置成功
$FLINK_HOME

1.4、配置Flink conf文件

进入到flink-1.13.2/conf目录下

1.4.1 配置flink-conf.yaml

#1. 配置jobmanager rpc 地址
jobmanager.rpc.address: 192.168.244.129

#2. 修改taskmanager内存大小，可改可不改
taskmanager.memory.process.size: 2048m

#3. 修改一个taskmanager中对于的taskslot个数，可改可不改
taskmanager.numberOfTaskSlots: 4

#修改并行度，可改可不改
parallelism.default: 4

1.4.2 配置master

#修改主节点ip地址
192.168.244.129:8081

1.4.3 配置work

#修改从节点ip，因为是standalone，所有主从一样
192.168.244.129

1.4.4 配置zoo

# 新建snapshot存放的目录，在flink-1.13.2目录下建
mkdir tmp
cd tmp
mkdir zookeeper

#修改conf下zoo.cfg配置
vim zoo.cfg

#snapshot存放的目录
dataDir=/home/liyaozhou/lyz/flink-1.13.2/tmp/zookeeper

#配置zookeeper 地址
server.1=192.168.244.129:2888:3888

1.5、启动Flink 集群

进入flink-1.13.2/bin目录下

./start-cluster.sh

2、Standalone-HA集群部署

集群部署两节点

版本主节点从节点部署方式
flink-1.13.2-bin-scala_2.11.tgz192.168.244.129192.168.244.130standalone-HA
hadoop 2.6.4192.168.244.129192.168.244.130Distributed
zookeeper3.4.14192.168.244.129192.168.244.130Distributed

前提是zookeeper 和 hadoop 集群全部配置好

2.1、 将软件安装包放入集群中

2.2、软件包解压
tar -zxvf flink-1.13.2-bin-scala_2.11.tgz

2.3、 配置系统环境变量
# 1、进入目录下
cd flink-1.13.2/

# 2、查看完整classpsth，然后复制
pwd 

# 3、编辑系统变量
sudo  vim  /etc/profile

#4、配置变量环境
export FLINK_HOME=/home/liyaozhou/lyz/flink-1.13.2
export PATH=$PATH:$FLINK_HOME/bin

#5、添加hadoop_conf classpath
export HADOOP_CONF_DIR=/home/liyaozhou/lyz/hadoop-2.6.4/etc/hadoop

#6 刷新系统变量环境
source /etc/profile

#7 查看是否配置成功
$FLINK_HOME

2.4、配置Flink conf文件

进入到flink-1.13.2/conf目录下

2.4.1 配置flink-conf.yaml

#1. 配置jobmanager rpc 地址
jobmanager.rpc.address: 192.168.244.129

#2. 修改taskmanager内存大小，可改可不改
taskmanager.memory.process.size: 2048m

#3. 修改一个taskmanager中对于的taskslot个数，可改可不改
taskmanager.numberOfTaskSlots: 4

#4. 修改并行度，可改可不改
parallelism.default: 4

#5. 配置状态后端存储方式
state.backend:filesystem

#6. 配置启用检查点，可以将快照保存到HDFS
state.backend.fs.checkpointdir: hdfs://192.168.244.129:9000/flink-checkpoints
#7. 配置保存点，可以将快照保存到HDFS
state.savepoints.dir: hdfs://192.168.244.129:9000/flink-savepoints

#8. 使用zookeeper搭建高可用
high-availability: zookeeper

#9. 配置ZK集群地址
high-availability.zookeeper.quorum: 192.168.244.129:2181

#10. 存储JobManager的元数据到HDFS
high-availability.storageDir: hdfs://192.168.244.129:9000/flink/ha/

#11. 配置zookeeper client默认是 open，如果 zookeeper security 启用了更改成 creator
high-availability.zookeeper.client.acl: open

2.4.2 配置master

#修改主节点ip地址
192.168.244.129:8081

2.4.3 配置work

#修改从节点ip，因为是standalone-ha，改另一个节点
192.168.244.130

2.4.4 配置zoo

# 新建snapshot存放的目录，在flink-1.13.2目录下建
mkdir tmp
cd tmp
mkdir zookeeper

#修改conf下zoo.cfg配置
vim zoo.cfg

#snapshot存放的目录
dataDir=/home/liyaozhou/lyz/flink-1.13.2/tmp/zookeeper

#配置zookeeper 地址
server.1=192.168.244.129:2888:3888

2.5、下载hadoop依赖包

下载地址：https://flink.apache.org/downloads.html#additional-components

将包复制到flink-1.13.2/lib目录下

2.6、 文件传输
将主节点flink包复制到从节点
scp -r flink-1.13.2 192.168.244.130:/home/liyaozhou/lyz/

修改从节点 flink-conf.yaml rpc 的ip地址

2.7、启动Flink 集群

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

饱和面试题
关注
  • 17
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink基础】-- Flink 1.13.2版本发布
欢迎来到我的博客，一起探索代码里的世界！
10-18 561
Apache Flink 社区在 2021.08.05日发布了 Apache Flink 1.13 系列的第二个修复错误的版本。 此版本包括 127 个修复和小改进。以下的列表包括修正错误和改进。有关所有更改的完整列表，请参考：Error - ASF JIRA。 下面来看看部分更新内容： [FLINK-21445] 修复了应用程序模式在构建 PackagedProgram 时不设置配置的问题 [FLINK-22443] 修复了无法在批处理模式下执行极长的 sql的问题 ...
flink-java-interview:Flink面试练习
05-12
Flink面试 前任。 1个 该练习的目的是： 在WalkMeEventSourceFunction中生成随机WalkMeEvents。 在10秒钟的（Tumbling）窗口中编写汇总事件的代码。 每10秒打印一次最近10秒内每个用户的事件总数。 脚步 实现...
Flink配置文件详解
qianyulin
08-30 1268
我们先来安装路径下的配置文件吧 安装目录下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。 1、Flink-conf.yarml 基础配置 # jobManager 的IP地址 jobmanager.rpc.address: localhost # JobManager 的端口号 jobmanager.rpc.p...
Flink的安装与配置（集群版）（保姆级教程）
热门推荐
wanjialin的博客
02-05 1万+
Flink简述： Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。 Flink安装前准备工作： 1、使用xftp将Flink安装包上传到虚拟机中 flink-1.10.0-bin-scala_2.11.tgz 可以去国内镜像下载，也可以去apache flink官网下载 Flink安装操作步骤： 1、解压缩文件tar -zxf flink-1.10.0-bin-scala_2.11.tgz -C ../soft/ 2、为了方便以后使用，将解压缩后的文件夹修改名字mv flink-
Flink集群安装和部署之Standalone模式
chbxw
06-21 4298
  Standalone是Flink 的独立部署模式，它不依赖其他平台。在使用这种模式搭建 Flink集群之前，需要先规划集群机器信息。在这里为了搭建一个标准的Flink集群，需要准备3台机器，如图下所示。 一、安装部署Standalone模式 1.1、修改配置文件 1.1.1、修改flink-conf.yaml 修改JobManager的主机名 jobmanager.rpc.address: hdp0-179014 1.1.1.1、防止web端口冲突 # 防止web端口冲突 jobmanager.w
【Flink】1.Flink集群部署
weixin_44718672的博客
12-07 1975
flink集群部署：standalone和flink-on-yarn
最新 Flink 八大主题面试准备（48页）.pdf
10-28
最新 Flink 八大主题面试准备（48页）.pdf
6万字、110个知识点Flink面试大全.pdf
11-30
6万字、110个知识点Flink面试大全
Flink面试题.pdf
07-26
Flink面试题.pdf
Flink 面试大全总结（136页、6万字、110个知识点）.pdf
11-18
Flink 面试大全总结（136页、6万字、110个知识点）
Flink_Flink 集群搭建
迎难而上
05-22 1912
本文主要讲解下 flink 如何搭建 ： 单节点集群 standalone 集群 yarn session 集群 最近学习了下 Flink ，看了许多天的书，一上手搭建集群遇到了许多问题。 我在这里整理下集群搭建所遇到的问题。 单节点集群 单节点集群，其实不难。主要我是虚拟机器，内存很小，所以我们要调整 task-manager 的内存参数。 task-manager 的内存分配管理 与 参数配置 是一个大问题，我专门写了一篇文章 ： ...
Flink部署
上白书妖
01-27 1430
前言 大家好, 我是上白书妖! 知识源于积累,登峰造极源于自律 今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正 Flink部署 (两种模式 ) 一 . Standalone模式 (Flink自带的)   ① 安装          解压缩 flink-1.7.2-bin-hadoop27-scala_2.11.tgz(如果你两个模式都想试一下就这个压缩包,实际上你要真正搭
关于在Flink上多次提交任务导致OOM
weixin_40393421的博客
06-16 2308
最近在开发Flink任务过程当中发现了一个比较奇怪的问题，在Flink上多次提交任务后会出现一个OOM的异常，意思是Flink的内存已经满了，无法再提交新的任务。如下： 其中有这么一句： 该异常确实是多次提交任务后出现的，不禁让人怀疑： 为了验证这个怀疑，就不得不先了解Flink的类加载机制。在Flink中，有两种类加载机制：因为Flink是基于JVM的，所以先回顾下JVM的类加载机制在JVM中，一个类加载的过程大致分为加载、链接（验证、准备、解析）、初始化5个阶段。而我们通常提到类的加载，就是指利用类加
Flink学习笔记【巨详细！】（二）
m0_70357583的博客
07-07 1547
第三章：Flink集群配置和部署 第四章：Flink运行架构的介绍
Flink高手之路2-Flink集群的搭建
W_chuanqi的博客
03-23 3648
准备好数据文件上传hdfs首先要确保 hdfs 集群已经启动发现我们以前已经上传过了提交命令这个错误需要把flink-1.16.1与hadoop3进行集成。查看 flink web ui查看 hdfs web UI点击一个文件查看重启集群删除hdfs上以前创建的output文件夹提交任务，使用之前上传的数据查看结果杀掉hadoop001的master进程，并再次提交任务再次删除hdfs上之前创建的output文件夹再次提交任务，可以正常运行并查看结果，说明高可用搭建成功。
大数据学习之Flink，了解Flink的多种部署模式
最新发布
2301_78038072的博客
01-22 1667
应用模式是对单作业模式的优化，不管是会话模式还是单作业模式，代码都是在客户端是进行执行的，然后由客户端提交给JobManager的，这种方式下客户端会比较耗资源，因为需要下载依赖和发送二进制文件到JobManager。会话模式就是在作业提交之前通过启动集群并创建会话，我们通过这个会话提交任务，所有的任务都在这个会话里，这种方式的特点是集群启动的时候就已经确定了资源，并且后续提交的作业也都在这个会话中，会出现资源的竞争。在YARN模式下部署模式也分三种，分别是会话模式、单作业模式还是应用模式。
Flink的部署和运行
Hans的博客
04-27 468
给Flink集群中的资源提供回收、分配它管理的task slots（Flink集群中资源调度最小单位）。- Dispatch：提供REST接口，用来提交Flink应用程序执行，为每个提交作业启动新的JobMaster。- JobMaster：负责管理单个JobGraph的执行，集群可以同时运行多个作业，每个作业有自己的JobMaster。TaskManager（worker）：执行作业流的task，且缓存和交换数据流。负责更好的开发用户体验，包括易用性、开发效率、执行效率、状态管理等方面。
Flink （三） Flink 的安装和部署-Standalone模式
奥迪的博客
01-28 1888
Flink 的安装和部署 Flink 的安装和部署主要分为本地（单机）模式和集群模式，其中本地模式只需直接解压就可以使用，不以修改任何参数，一般在做一些简单测试的时候使用。本地模式在我们的课程里面不再赘述。集群模式包含： a、 Standalone。 b、 Flink on Yarn。 c、 Mesos。 d、 Docker。 e、 Kubernetes。 f、 AWS。 g、 Goole Compute Engine。 目前在企业中使用最多的是 Flink on Yarn 模式。我们的课
Flink集群配置
Xeon_CC的博客
07-01 943
flink
flink面试题2023
07-28
作为一个AI助手，我可以为您提供一些常见的Flink面试题，但请注意，这仅供参考。具体的面试内容可能因公司和职位要求而有所不同。以下是一些常见的Flink面试题： 1. 什么是Apache Flink？它与其他流处理框架的区别...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值