第11课：Spark Streaming源码解读之Driver中的ReceiverTracker架构设计以及具体实现彻底研究

最新推荐文章于 2016-08-17 16:01:42 发布

段智华

最新推荐文章于 2016-08-17 16:01:42 发布

阅读量714

点赞数

分类专栏： Spark源码版本定制发行班

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.csdn.net/duan_zhihua/article/details/51476091

版权

Spark源码版本定制发行班专栏收录该内容

51 篇文章 195 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文详细探讨了Spark Streaming在Driver端的ReceiverTracker架构设计，包括消息循环系统和具体实现，揭示了如何在Executor上启动接收器并将其封装为作业的过程。

摘要由CSDN通过智能技术生成

第11课：Spark Streaming源码解读之Driver中的ReceiverTracker架构设计以及具体实现彻底研究
/* 王家林老师授课http://weibo.com/ilovepains 每天晚上20：00YY频道现场授课频道68917580*/
1,ReceiverTracker架构设计
2，消息循环系统
3，ReceiverTracker具体实现

ReceiverTracker以driver中的算法在executor启动receive，封装成一个一个job。

ReceivedBlockHandler

/*
 * Licensed to the Apache Software Foundation (ASF) under one or more
 * contributor license agreements.  See the NOTICE file distributed with
 * this work for additional information regarding copyright ownership.
 * The ASF licenses this file to You under the Apache License, Version 2.0
 * (the "License

了解本专栏