批量数据处理日志生成问题

原文发布时间:2015-03-05 08:39:09

作者:lkfree

模板下载

FME日志非常重要,记录了FME转换的每个过程及错误详细信息,以及读入写出数据总计,在使用FME进行数据转换和数据处理分析时,我们需要根据分析日志去分析模板是否成功并达到预期效果,同时查找运行失败原因和及相关记录。

众所周知,FME Workbench在运行一个模板时,会在模板的路径下自动生成日志,但是当遇到多数据处理、转换时,一般我们通过添加多个数据或者文件夹来进行批处理操作。

这样可能会发生在运行到中途时,程序运行失败,部分转换成功。这时程序已经中断,我们只能通过当前日志分析出错误,然后还需要去想办法运行剩下的数据。并且日志文件由于未对每个数据进行分类扇出,信息量很大,难于分析,检查。

因此,我们应该利用FME实现处理批量数据时,按文件名来批量生成日志文件。

首先我们必须了解以下两个参数:

1、log日志文件路径:

该工作空间参数用于指定我们txt日志文件生成的路径,我们可以将其发布为公用参数,对日志生成路径进行赋值。

2、ffs日志文件路径:

当遇到几何图形由于拓扑、属性错误等情况无法转换时,也会生成相应的.ffs日志文件报错,我们可以在写模块的高级参数中进行设置(例如上图中为mdb写模块)。同样我们可以将其发布为公用参数,对日志生成路径进行赋值。

 

详细实现模板如下:

首先制作一个数据转换的模板,并发布相关参数。

之后在制作一个模板,利用workspacerunner转换器调用之前的模板进行批处理

 

若对文章有疑问,可发送邮件至liuke@antu.com.cn提问或讨论。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值