Apache Hop Transforms Samples【持续完善中】

Samples

transforms

1、abort-basic.hpl

根据筛选器行转换的结果中止此管道

第一步：添加Data grid转换，Meta部分维护字段。

Data部分维护数据，如下图。

第二步：添加filter rows，如下图

按照如下截图进行修改：

第三步：添加Abort

第四步：执行截图如下：

2、add-a-checksum-CRC32.hpl

增加校验和——CR - 232算法

第一步，添加Data grid

第二步，添加Add a checksum

第三步，设置转换副本数

可以通过设置Specify copies，设置执行期间要使用的转换副本数

第四步，运行，查看结果

3、add-a-checksum-SHA-512.hpl

增加校验和——SHA- 512算法

第一步，添加data grid，设置字段及数据

第二步，添加add a checksum，设置算法

第三步，设置转换副本数

第四步，查看变换结果

4、add-sequence-cyclic-id.hpl

在本例中，Add Sequence转换添加一个包含值1到10的字段，10之后，它又开始从1开始计数

第一步，添加Generate rows

会创建100个空行，如下图所示

第二步，添加Add sequence，从1开始，步增1，最大到10，然后再次循环。

第三步，看结果

5、add-sequence-unique-id.hpl

在本例中，Add Sequence转换创建一个从1到100的ID

第一步，添加generate rows（官方文档2.1.0版本中叫Row generator，但是2.1工具中是generate rows）

按照如下截图配置，生成100行数据，每5s生成一行；

第二步，添加add sequence

添加add sequence转换，设置为使用计数器计算序列，初始值为1，步增为1，最大值为999999999

第三步，添加log values

设置打印级别是Basic；

第四步，查看运行结果

6、analyticquery-basic.hpl

从一组未分组的行中获取上一个和下一个描述

第一步，添加Data grid转换

第二步，添加Analytic query转换

第三步，添加Dummy转换

第四步，查看运行结果

7、analyticquery-grouped.hpl

从按id分组的行集合中获取上一个和下一个描述

第一步，添加Data grid转换。

第二步，添加Analytic query转换

根据id进行分组；

第三步，添加Dummy转换

第四步，查看运行结果

8、append-streams-basic.hpl

追加两个流

确保保持两个输入流的行布局相同:---->相同的字段，相同的数据类型，顺序相同。

第一步，添加row generator

第二步，添加row generator

第三步，添加Append streams

Head Hop选择Second Stream，处理完成该流数据后，再处理First Stream流；

第四步，添加Dummy转换

第五步，查看运行结果

第六步，调整Append streams如下

第七步，添加dummy

第八步，查看运行结果

9、block-until-transforms-finish-basic.hpl

块转换等待直到Found GOD步骤完全执行!

你可以通过虚线矩形来可视化，因为假数据和块变换都是连续运行的。

第一步，添加rows generator

第二步，添加fake data

第三步，添加delay row

第四步，添加dummy

第五步，添加rows generator

第六步，添加 block until transforms finish

选择Found GOD！转换，表示待Found GOD完成处理后，在执行 block until transforms finis转换。

第七步，添加Java Script

第八步，查看运行结果

点击Found GOD！转换，然后点击Preview output。

查看如下结果：

10、blockingtransform-basic.hpl

生成100k随机uuid，阻塞直到完成

第一步，添加rows generator

为了增加效果，我把数据量调整到了1000k rows；

第二步，添加generate random value

第三步，添加Blocking transform

第四步，添加dummy