java pipeline 实现_java pipeline并发模式

1、pipeline简介

更多请关注我的个人博客。

pipeline又称为管道，是一种在计算机普遍使用的技术。举个最普遍的例子，如下图所示cpu流水线，一个流水线分为4部分，每个部分可以独立工作，于是可以处理多个数据流。linux 管道也是一个常用的管道技术，其字符处理功能十分强大，在面试过程中常会被问到。在分布式处理领域，由于管道模式是数据驱动，而目前流行的Spark分布式处理平台也是数据驱动的，两者非常合拍，于是在spark的新的api里面pipeline模式得到了广泛的应用。还有java web中的struct的filter、netty的pipeline，无处不见pipeline模式。因此，本小结的目标是使用java编写一个简易的pipeline小程序，并进行相应的功能，性能 测试。

2、设计思路

我以字符串处理为例，通常对字符串的处理不会一步就完成，需要分成几部来完成，而并行的处理方式不适合于大量数据流的场景。于是本节的目的是实现一个并行字符串处理程序。设计思路如下图所示，参考了netty的管道模型。

一个管道中包含多个channelhandler、每个handler实现了具体的处理方法，每个handler都唯一对应了一个context，在pipeline中，所有的context是构成一个链式结构的，链式结构是有序的，于是context的先后顺序决定了处理的先后顺序，pipeline可以通过context来调用handler。每个handler实际上只是一个接口，需要用户去自己实现。

3、Handler接口

该接口只需要实现字符串处理，然后把结果传给下一个handler就可以了。代码入下，接口参数HandlerCon