1、转换是转换里面的第四个分类。
转换属于ETL的T,T就是Transform清洗、转换。ETL三个部分中,T花费时间最长,是一般情况下这部分工作量是整个ETL的2/3。
2、Concat fields
就是多个字段连接起来形成一个新的字段。
3、 值映射
把字段的一个值映射成其他的值。在数据质量规范上使用非常多,比如很多系统对应性别gender字段的定义不同。
4、增加常量
在本身的数据流里面添加一列数据,该列的数据都是相同的值。
5、增加序列
给数据流添加一个序列字段。
6、字段选择
从数据流中选择字段、改变名称、修改数据类型。
可以选择要移除的字段。
可以选择要改变的元数据信息。
7、计算器
一个函数集合来创建新的字段,还可以设置字段是否移除(临时字段)。
8、剪切字符串
指定输入流字段裁剪的位置剪切出新的字段。
9、字符串替换
指定搜索内容和替换内容,如果输入流的字段匹配上搜索内容就进行替换生成新字段。
10、字符串操作
去除字符串两端的空格和大小写切换,并生成新的字段。
11、去除重复记录
去除数据流里面相同的数据行。注意:必须先对数据流进行排序!
12、排序记录
按照指定的字段的升序或降序对数据流排序。
13、唯一行(哈希值)就是删除数据流重复的行。
注意:唯一行(哈希值)和(排序记录+去除重复记录)效果一样的,但是实现的原理不同!
\
唯一行(哈希值)执行的效率会高一些!唯一行哈希值是根据哈希值进行比较的,而去除重复记录是比较相邻两行数据是否一致进行比较的。
14、拆分字段
把字段按照分隔符拆分成两个或多个字段
注意:拆分字段后,原字段就不存在于数据流中!
15、列拆分为多行
把指定分隔符的字段进行拆分为多行。
16、列转行
如果数据一列有相同的值,按照指定的字段,把多行数据转换为一行数据。去除一些原来的列名,把一列数据变为字段。
注意:列转行之前数据流必须进行排序!必须使用排序记录图元哦!
17、行转列
把数据字段的字段名转换为一列,把数据行变为数据列。
18、行扁平化
把同一组的多行数据合并成为一行。注意:只有数据流的同类数据数据行记录一致的情况才可使用!数据流必须进行排序,否则结果会不正确!