Streamsets 定制组件开发指引

SDC-定制组件

一.SDC组件介绍

SDC组件主要分为以下三类（符合ETL的概念）：

​ a)Source数据抽取组件：从文件或服务抽取数据的组件

​ b)Processor数据转化组件：处理和转化数据的组件

​ c)Target数据载入组件：将数据持久化的组件

​ *额外的一类：执行器组件，一种特殊的Target组件，不像普通Target组件那样持久化数据，而是将数据输出到外部系统，由外部系统对记录执行额外的操作，通常用来处理异常数据和事件，类似场景有：错误数据处理，可将错误数据输出到文件，或者别的管道，也可以出现错误记录时停止管道；事件动作监听，比如源组件发出没有更多数据的事件，Pipeline Finisher Executor组件可以监听该事件并停止整个管道。

二.组件代码uml结构

​ 通过分析uml结构可以知道,SDC组件都是实现自Stage接口。其下又有三个子接口，与前面组件介绍的分类对应。

​ 因为代码是开源的，相应接口都可以看到具体的实现案例，这里以Processor类的组件举个例子。

​ Processor的作用是将一个源或者前一个Processor发送的数据执行对应操作后发送给目标或另一个Processor。

三.Processor组件实现简介

3.1 数据处理逻辑

​ SDC启动流程，对Processor类别组件方法的调用顺序为：

1. List init();

   初始化方法，在处理数据前执行一次，其返回为一个ConfigIssue列表，当列表为空时，流程才能正常启动，不为空则将ConfigIssue内容显示在界面上，提示相应的配置建议。

2. void process();

   数据处理方法，组件初始化结束后在这个方法对数据分批处理。

3. void destroy()；

   销毁方法，管道执行结束时调用，用来释放资源的方法，初始化失败也会调用该方法，用来释放已经初始化的内容。

​ 通常情况下，需要对每条记录都进行处理，并且输出为单个流时，定制组件开发只需要继承SDC提供的SingleLaneRecordProcessor类即可，该抽象类定义了将批量数据处理成单条记录的方法，以及处理异常时的基本操作，并将处理后的数据放在SingleLaneBatchMaker中交给下一步。

自定义的类只需要重写以下process方法即可处理每条记录。

protected abstract void process(Record record, SingleLaneBatchMaker batchMaker) throws StageException;

​ 有时，我们开发组件需要预加载数据，或者对配置的参数进行校验提醒，那么就需要重写init()方法。

​ 如果在init阶段缓存了额外的数据，记得重写destroy()方法是释放对应资源，防止性能损耗无法及时释放。

3.2 组件配置项编写

​ 在编写对应处理逻辑前，需要创建一个DProcessor的子类，该类中定义了流程处理需要的参数配置项，并且SDC启动时会加载相应的配置，使其展现在界面上。

其中可配置诸如：组件图标，组件名称，组件介绍，参数介绍，参数默认值，参数类型等等。

其他细节的编写可以参考已有的组件，后续将会在git工程中加入更多组件，以便参考和管理。

3.3 组件的使用

​ 1.组件安装：

​ 1）maven打包组件

​ 2）将tar包上传至SDC目录,/streamsets-datacollector-3.17.1/user-libs/目录下解压tar包

​ 3）重启sdc之后即可在设计环节选择自己开发的组件

3.4 开源社区组件开发教学：

https://github.com/streamsets/tutorials