pig
caoeryingzi
这个作者很懒,什么都没留下…
展开
-
pig拉数据
以前公司有同事讲过pig的各种使用经验,但是我觉得吧,工程的东西很多都是熟能生巧的过程,长时间不用就又忘记了。这几天再从新使用pig,除了看thrift文件了解各个数据的结构之外,如果想看内部的有些信息,尤其是有些数据是会转换的,那就加载数据后,用describe,Returns the schema of a relation.看到pig的官方解释,就知道了,这个describe能够原创 2012-09-11 14:24:37 · 1174 阅读 · 0 评论 -
flatten
今天通过不断的尝试,终于知道这个flatten的用法了。其实吧,有时候关键是要test,才能充分理解解说。不过,同事给说的有点问题,误导了我。整的我一直没明白怎么回事。这是官方的解释:The FLATTEN operator looks like a UDF syntactically, but it is actually an operator that changes the原创 2012-09-11 17:59:36 · 8000 阅读 · 1 评论 -
pig udf实现
pig的UDF实现了用简单的pig命令难以实现的功能,一般是直接对tuple操作的。而且这个有个好处是用户可以自己定义的。自己写udf,要注意几点:1. udf传入的参数是tuple。2. udf操作时,有点类似于对group后的结果进行操作,我们可以对group内的每一个元素进行操作,但是你要记住,每一个元素是什么,这样你才能get(0),get(1)等等。3原创 2012-09-18 14:25:51 · 2138 阅读 · 0 评论 -
pig
上周自己写了个pig udf,是用来进行正则表达式匹配的,参考的是这里的代码:http://fenriswolf.me/2012/03/26/%E8%87%AA%E8%A8%82-pig-eval-function-%E5%9F%BA%E7%A4%8E%E7%AF%87/其实,还是很简单的,这个东西就是一个小函数一个小函数的。@Override02public原创 2012-11-05 15:25:11 · 672 阅读 · 2 评论