![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
鄙人王道长
遥看青云上,鄙人王道长!
展开
-
Spark消费Kafka如何实现精准一次性消费?
1.定义精确一次消费(Exactly-once) 是指消息一定会被处理且只会被处理一次。不多不少就一次处理。如果达不到精确一次消费,可能会达到另外两种情况:至少一次消费(at least once),主要是保证数据不会丢失,但有可能存在数据重复问题。最多一次消费 (at most once),主要是保证数据不会重复,但有可能存在数据丢失问题。如果同时解决了数据丢失和数据重复的问题,那么就实现了精确一次消费的语义了。2. 问题如何产生数据何时会丢失: 比如实时计算任务进行计算.原创 2020-07-21 08:21:32 · 3712 阅读 · 0 评论 -
深入理解Spark远程通信组件RPC及消息处理机制
1.简介在Spark中,不同组件像driver,executor,worker,master(stanalone模式)之间的通信是基于RPC来实现的。Spark 1.6之前,Spark的RPC是基于Akka来实现的。Akka是一个基于scala语言的异步的消息框架。Spark1.6后,spark借鉴Akka的设计自己实现了一个基于Netty的rpc框架。本文主要对spark1.6之后基于nett...原创 2020-07-15 19:47:34 · 787 阅读 · 0 评论