Flink中-C参数与DistributedCache使用

最新推荐文章于 2023-04-14 10:34:01 发布

pucheung

最新推荐文章于 2023-04-14 10:34:01 发布

阅读量1.5k

点赞数

分类专栏： Flink

本文链接：https://blog.csdn.net/u013516966/article/details/104471020

版权

本文介绍了Flink中-C参数的作用，它用于向用户类加载器添加URL，确保集群所有节点都能访问。Flink使用FlinkUserCodeClassLoaders加载用户代码，特别是StreamTask中的OperatorChain。此外，文章还讲解了DistributedCache的工作原理，它是Flink的分布式缓存，类似于Spark的广播变量，只在TaskExecutor中存储一份数据。在HA模式下，文件存储在HDFS，任务启动时后台线程拉取；非HA模式下，文件存储在jobmaster工作路径，由taskExecutor拉取。

摘要由CSDN通过智能技术生成

点击箭头处“蓝色字”，关注我们哦！！

-C 参数

flink命令下有这样的一个参数选项-C或者--classpath，含义解释：

Adds a URL to each user code classloader  on all nodes in 
the cluster. The paths must specify a protocol (e.g. file://)
 and be accessible on all nodes (e.g. by means of a NFS 
 share). You can use this option multiple times for 
 specifying more than one URL. The protocol must be 
 supported by the {@link java.net.URLClassLoader}.

含义就是：给一个user classloader添加一个url，但是这个url 必须能够被集群的所有的节点都能够访问到。该classloader指的是FlinkUserCodeClassLoaders，在任务启动的过程中会使用该loader加载，具体使用是在StreamTask.invoke中初始化OperatorChain中，在OperatorChain初始化时，会从字节码中反序列化一个operator的header operator，