Pig
艾伦蓝
Just do it
展开
-
Pig 安装总结学习
[size=medium][b]1.下载并解压安装包[/b][/size]----------------------------------在Apache下载最新的Pig软件包,点击下载会推荐最快的镜像站点,以下为下载地址: pig下载地址[url]https://mirrors.tuna.tsinghua.edu.cn/apache/pig/pig-0.16.0/[/url]...原创 2017-05-17 14:50:08 · 229 阅读 · 0 评论 -
Pig 基础知识学习(语法)
[color=red][size=medium][b]1:数据类型[/b][/size][/color]基本类型和复合类型(即由多个基本类型结成的类型)[b]基本类型:[/b](int,long,float,double,chararray,bytearray)基本的类型与java中的类型一致chararray:字符串(String)或字符数组(‘aaa’或'\n'可以表示特殊符号...原创 2017-05-17 16:58:48 · 991 阅读 · 0 评论 -
Pig WordCount案例学习(flatten,TOKENIZE)
[size=large][color=red][b]WordCount实现 [/b][/color][/size]-- ① 加载数据 a= load '/input/data' as (line:chararray); -- ② 将字符串分割成单词 b= foreach a generate flatten(TOKENIZE(line)) as word; -- ③ 对单词进行...原创 2017-05-18 16:44:30 · 416 阅读 · 0 评论 -
Pig 安装总结学习
pig下载地址[url]https://mirrors.tuna.tsinghua.edu.cn/apache/pig/pig-0.16.0/[/url][size=medium][color=red][b]2.配置环境[/b][/color][/size]----------------------------------解压缩到安装路径, 用如下命令编辑~/.bashrc文件: Pig工作模式本地模式:只需要配置PATH环境变量${PIG_HOME}/bin即可,适用原创 2017-05-17 14:50:08 · 96 阅读 · 0 评论 -
Pig 基础知识学习(语法)
ay,bytearray)基本的类型与java中的类型一致chararray:字符串(String)或字符数组(‘aaa’或'\n'可以表示特殊符号)bytearray:字节数组(二进制)如java中的byte[][b]复杂类型:[/b](map,tuple,Bag)map:key/value对,key是chararray类型数据,value的类型不台有多种map常量:['a'#'123','b'#gbz]tuple:定长,类型任意,有序(可以通过位置得到元素,从0开始)常量原创 2017-05-17 16:58:48 · 198 阅读 · 0 评论 -
Pig WordCount案例学习(flatten,TOKENIZE)
ENIZE(line)) as word; -- ③ 对单词进行分组 c= group words by word; -- ④ 统计每组中单词数量 d= foreach c generate group,COUNT(b); -- ⑤ 打印结果 dump cntd; [b]foreach a generate group :[/b]对c中所有key进行分组a = (a,{})(b,{})(b,{}):foreach a generate group =>得到(原创 2017-05-18 16:44:30 · 201 阅读 · 0 评论