- 博客(6)
- 资源 (21)
- 收藏
- 关注
原创 Flink运行时之合久必分的特定任务
合久必分的特定任务前面我们谈到了TaskManager对每个Task实例会启动一个独立的线程来执行。在分析线程执行的核心代码时,我们看到最终执行的是AbstractInvokable这样执行体的invoke方法。所谓合久必分,鉴于流处理任务跟批处理任务执行模式上存在巨大的差异,在对AbstractInvokable的实现时,它们将会走向两个不同的分支。
2017-01-26 22:42:08 2225 3
原创 Flink运行时之TaskManager执行Task
TaskManager执行任务当一个任务被JobManager部署到TaskManager之后,它将会被执行。本篇我们将分析任务的执行细节。
2017-01-24 23:07:14 9569 3
原创 Flink运行时之基于Netty的网络通信(下)
这一篇,我们分析一下客户端协议栈中的核心的处理器PartitionRequestClientHandler,该处理器用于处理服务端的响应消息。
2017-01-15 20:28:00 4382
原创 Flink运行时之基于Netty的网络通信中
PartitionRequestClient分区请求客户端(PartitionRequestClient)用于发起远程PartitionRequest请求,它也是RemoteChannel跟Netty通信层之间进行衔接的对象。对单一的TaskManager而言只存在一个NettyClient实例。
2017-01-12 22:34:32 4963
原创 Flink运行时之基于Netty的网络通信上
概述本文以及接下来的几篇文章将介绍Flink运行时TaskManager间进行数据交换的核心部分——基于Netty通信框架远程请求ResultSubpartition。作为系列文章的第一篇,先列出一些需要了解的基础对象。
2017-01-08 15:03:28 6884 1
原创 Flink运行时之结果分区消费端
结果分区消费端在前一篇,我们讲解了生产者分区,生产者分区是生产者任务生产中间结果数据的过程。消费者任务在获得结果分区可用的通知之后,会发起对数据的请求。
2017-01-05 09:09:26 3688 1
OFBiz track @ Apachecon EU 2014 in Budapest, Hungary Nov 17th - Nov 19th 2014
2015-02-04
seda eclipse工程可运行版
2012-04-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人