【pig】TOKENIZE函数用法

TOKENIZE 分割函数的使用：

1.  假设有如下两个文件：test_tokenize.pig,  log

log 内容如下：

---------------------------------------

1 abc,zhoujie
2 mmm,liudehua
3 nnn*zhourunfa
0 nnn()zhouxingchi
5 xxx(zhoujielun)zhouhaimei(zhouhuimin
4 abc
5 nnn
2 yyy

---------------------------------------

test_tokenize.pig内容如下：

------------------------------------------

DEFINE SUB InvokerForString('java.lang.String.substring', 'String');
A = LOAD 'log' AS (fhour:int , fallyesid:chararray );
B = FOREACH A GENERATE TOKENIZE(fallyesid);
--DUMP A; 
DUMP B; 

-------------------------------------------

2.  执行命令：pig -x local test_tokenize.pig，输出如下：

--------------------------------------------------

({(abc),(zhoujie)})
({(mmm),(liudehua)})
({(nnn),(zhourunfa)})
({(nnn),(zhouxingchi)})
({(xxx),(zhoujielun),(zhouhaimei),(zhouhuimin)})
({(abc)})
({(nnn)})
({(yyy)})

--------------------------------------------------