pig使用的一些注意事项

1.利用python做udf时,python的list对应pig的bag。
2.宏里面对参数和返回值的引用任何时候总是带$。
3.不要让int和long进行比较因为
    java.lang.Long cannot be cast to java.lang.Integer
4.使用pig python udf的时候,不要在python里面定义很大的map或者list,可以写成字符串然后用代码解析。
5.在python udf中import 另一个含有outputSchema声明的函数的python udf时,需要把下面的代码加入到含有被import的python udf文件的第一行.


6.不要在两个pig语句之间试图通过python udf共享临时生成的数据,这是做不到的。因为两个pig语句完全可能在不同的机器上运行,是两组不同的MR任务。
7.pig不能判断一个字段是否在一个关系中,下面的语句是错误的


8.两个relation join时需要确保两个relation都不为空且join的key不为空或者null。
9.pig读入的东西传给python udf时是unicode类型的。


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值