- 博客(8)
- 资源 (1)
- 收藏
- 关注
原创 5.精通Flink1.19—RPC框架设计
2)FencedRpcEndpoint继承RpcEndpoint,内部增加了fencingToken字段,实现了FencedRpcEndpoint的节点都会有一个fencingToken,当远程RPC调用时,会比较访问者和被访问者的fencingToken是否一致,一致了才会进行后续操作。1.RpcGateway接口Flink RPC底层通信用到的动态代理,动态代理中使用的目标类实现的接口最终都是RpcGateway(也就是说动态代理创建的接口最上层都是RpcGateway)
2024-04-11 10:34:36
1800
1
原创 3.精通Flink1.19—动态代理
3.PekkoInvocationHandler类实现了InvocationHandler并实现invoke方法,是将代理类的方法,参数类型,参数封装为RpcInvocation对象,之后通过Pekko.tell 、Pekko.ask方法将RpcInvocation作为消息发送到代理接口所在的进程中。1.动态代理用到的所有类都是RpcGateway 实现,也就是说创建的是RpcGateway接口对应实现类的动态代理,比如ResourceManagerGateway接口。
2024-04-11 10:32:49
791
1
原创 2.精通Flink1.19—集群架构
在Flink中这里说的资源主要是TaskManager节点上的Task Slot计算资源,Flink中每个提交的任务最终会转换成task,每个task需要发送到TaskManager 上的slot中执行(slot是资源调度最小的单位),Flink为不同的环境和资源提供者(例如:Yarn/Kubernetes和Standalone)实现了对应的ResourceManager,这些ResourceManager负责申请启动TaskManager获取Slot资源。
2024-04-11 10:27:26
944
1
原创 Flink1.19源码深度解析-ClusterEntrypoint
如果一个main()方法中有多个env.execute()/executeAsync(),在Application模式下,这些作业会被视为属于同一个应用,在同一个集群中执行(如果在Per-Job模式下,就会启动多个集群)。对于per-job模式,jar包的解析、生成JobGraph是在客户端上执行的,如果任务特别多的话,那么这些生成JobGraph会对客户端服务器有压力。Application 模式会在客户端将运行任务需要的依赖都上传到 Flink Master,然后在 Master 端进行任务的提交。
2024-03-27 18:08:46
1890
原创 2.Flink RPC源码分析
对 RPC 框架中提供具体服务的实体的抽象,所有提供远程调用方法的组件都需要继承该抽象类。另外,对于同一个 RpcEndpoint 的所有 RPC 调用都会在同一个线程(RpcEndpoint 的“主线程”)中执行,因此无需担心并发执行的线程安全问题。
2024-03-21 17:18:32
271
2
原创 深入理解JVM之字节码结构
通常情况下我们都知道编写的.java文件编译成.class之后,由类加载器ClassLoader加载、链接、初始化等一系列操作。JVM加载类的过程中会产生一个Class对象来表示类的信息。通过Class可以知道类的段名字、类型、访问权限、方法等信息。那么java文件编译成class字节码是怎样一种格式呢?接下来进行分析,class 字节码包含的信息其实就是JVM定义了一系列的格式来表示字节码或者类...
2020-09-18 18:03:30
210
原创 深入理解JVM之类加载器
在java代码中,类型的加载、连接、初始化都是在程序运行期间完成的(类型值得是类本身,不是类对象)。 类的生命周期分为加载、连接、初始化、使用、卸载。连接又分为验证、准备、解析。类的加载、连接、初始化。加载:查找并加载类的二进制数据。连接 验证:确保加载类的准确性。 准备:为类的静态变量分配内存,并将其初始化为默认值。 eg:public static ...
2020-04-04 17:17:55
213
原创 Spark底层通信RPC源码分析
RPC通信:无论是hadoop2.x的Rpc通信方式还是Spark2.x的Rpc通信方式,简单通俗的来说就是两个进程之间的远程通信,比如java 一个A项目里面有一个class A,里面有一个washA方法一个B项目里面有一个Class B类,里面有一个方法是washB,B项目通过代理模式以及java的反射机制调用到A项目里面的washA,这种情况下就可以理解为是一个简单的Rpc通信方式。Sp...
2016-11-27 20:06:56
3216
基于ambari最新版本hadoop的湖仓一体、流批一体架构方案,并在上线生产
2022-12-21
prometheus grafana 基于开源监控apache Hadoop模板大全
2022-04-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人