流集数据收集器管道概念和设计:字段属性

字段属性

字段属性是提供有关每个字段的其他信息的属性,您可以根据需要在管道逻辑中使用这些信息。

某些阶段会生成字段属性。例如,“销售力”原点在每个字段的属性中都包含原始的“销售力”数据类型。salesforce.salesforceType

您可以在管道中创建、修改和评估字段属性。表达式计算器支持创建和修改字段级属性。您可以使用字段属性函数来计算字段属性。

例如,可以使用表达式计算器基于记录数据创建字段属性,然后将该记录传递到流选择器,该选择器根据属性的值路由数据。

仅当您在目标中使用 SDC RPC 数据格式时,字段属性才会自动包含在写入目标系统的记录中。

若要在记录数据中包含字段属性或在计算中使用字段属性,请使用 和 函数。有关字段属性函数的详细信息,请参阅记录函数record:fieldAttributerecord:fieldAttributeOrDefault

使用数据预览时,可以启用查看字段属性和记录标头属性,以帮助进行管道开发。

使用字段属性

与记录标头属性一样,可以使用表达式计算器或任何脚本处理器来创建或更新字段属性。例如,在处理 Avro 数据时,原点会将 Decimal 数据的精度和小数位数信息放入字段属性中。如果要在将这些值写入目标系统之前增加这些值,可以使用表达式计算器或任何脚本处理器来设置属性值。

字段属性是字符串值。您还可以在任何表达式中使用函数在计算中包含属性值。record:fieldAttribute

重要:字段属性没有字段路径。在表达式中使用属性时,在指定关联字段的路径后,仅使用用引号括起来的属性名称,如下所示:
<span style="color:#333333"><span style="background-color:#eeeeee"><code> ${record:fieldAttribute(<path to the field>,'<attribute name>')}</code></span></span>

例如,假设您正在处理 Avro 数据作为 Hive 漂移同步解决方案的一部分。所有十进制字段都包含自动生成的精度和小数位数字段属性。在将数据传递到 Hive 元数据处理器之前,您希望基于现有成本数据创建新的“价格十进制”字段。

以下表达式计算器创建价格字段,并根据现有成本精度和小数位数定义精度和小数位数字段属性。

字段属性生成阶段

下表列出了生成字段属性以启用特殊处理的阶段:

阶段描述: __________
处理阿夫罗数据的起源包括每个十进制字段的“精度”和“小数位数”字段属性。
处理 XML 数据的源可以在字段属性中包含字段 XPath 信息、XML 属性和命名空间声明。
谷歌大查询起源在字段属性中包括“日期时间”、“时间”和“时间戳”字段的原始精度。
销售团队起源字段属性中包含数据类型信息。
销售队伍查找处理器字段属性中包含数据类型信息。
解析器可以在字段属性中包含字段 XPath 信息、XML 属性和命名空间声明。

在数据预览中查看字段属性

与记录标头属性一样,可以使用数据预览在管道中的任何点查看字段属性。若要查看字段属性,请启用“显示记录/字段标头数据预览”属性。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JAVASoftEngineer

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值