![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 95
dclar_
I am an artist
展开
-
Spark :: 大画Spark(1)——Spark的Dispatcher原理
背景在Spark的网络环境中,Netty是进行RPC通讯的底层通讯模块,在Netty之上,Spark构建起了一整套的通信发送与接收处理机制,这个机制涉及到了Spark的Dispatcher,MessageLoop,Endpoint,Inbox等一系列的概念和关系,理解诸如这些概念和关系是很多Spark初学者的挡路石,为了能让初学者以及一直使用Spark的同学深入了解这些概念和内容,我准备写一个专题,叫做《大画Spark》,通过一系列相视的生活中的例子,大家都能听懂的常识,以及生动的插画(这块以后准备和插画原创 2021-08-28 20:44:44 · 898 阅读 · 0 评论 -
生产环境踩坑系列::Hive on Spark的connection timeout 问题
起因7/16凌晨,钉钉突然收到了一条告警,一个公司所有业务部门的组织架构表的ETL过程中,数据推送到DIM层的过程中出现异常,导致任务失败。因为这个数据会影响到第二天所有大数据组对外的应用服务中组织架构基础数据,当然,我们的Pla-nB也不是吃素的,一旦出现错误,后面的权限管理模块与网关会自动配合切换前一天的最后一次成功处理到DIM中的组织架构数据,只会影响到在前一天做过组织架构变化的同事在系统上的操作,但是这个影响数量是可控的,并且我们会也有所有组织架构变化的审计数据,如果第二天这个推数的ETL修复不原创 2021-07-18 07:53:16 · 3149 阅读 · 2 评论 -
Spark源代码::Spark多线程::NettyRpcEnv.ask解读
背景Spark中有很多异步处理的例子,每一个地方都值得好好去审视一番,对辅助理解spark的机理以及为自己写出优雅的代码都会有很大的帮助。NettyRpcEnv.ask解读RpcEnv作用NettyRpcEnv是RpcEnv的在spark中的唯一一个实现。RpcEnv是什么呢,可以先看一下它的class头信息/** * An RPC environment. [[RpcEndpoint]]s need to register itself with a name to [[RpcEnv]] to原创 2021-06-15 18:51:47 · 1661 阅读 · 4 评论