groovy分析脚本基本组成文件详解和运行过程中出错分析

在本公司搭建的hadoop运行平台上,主要利用groovy进行数据分析并输出分析结果到数据库报表。每一个分析需要编写DataTypeConfig.xml、ReportConfig.xml和.groovy脚本文件。在进行数据分析的过程中,也会出现一些常见的错误,现在逐步总结如下。

一、DataTypeConfig.xml、ReportConfig.xml和.groovy脚本文件字段分析

图1.1

图1.2


图1.3


如图所示。其中,DataTypeConfig.xml的name参数(A1)暂未发现有什么作用,一般不用关注;DataTypeConfig.xml的path字段(A2)和ReportConfig.xml的input字段(B3)保持一致,值为数据输入路径;DataTypeConfig.xml的script字段(A3)值为.groovy脚本文件存放路径;ReportConfig.xml的name参数(B1)与.groovy脚本文件的C1字段保持一致,一般设置为该业务统计的名称;ReportConfig.xml的name参数(B2)用于外界(比如workflow等)调用该groovy统计分析,一般设在该业务统计的名称加上"_task"。


二、分析脚本在hadoop平台运行出错分析

1.groovy脚本处理生成的中间过程数据不存在



首先关注信息0,分析数据输入路径没有提示不存在,表示输入路径没有问题;再看信息1,此时提示不存在进而信息2也提示不存在,表示输入数据经过groovy脚本分析生成的中间数据不存在,数据在分析过程中被“过滤”掉了。原因可能在两个方面:分析代码有bug或者输入数据内容有问题。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值