1:数据类型
基本类型和复合类型(即由多个基本类型结成的类型)
基本类型:(int,long,float,double,chararray,bytearray)
基本的类型与java中的类型一致
chararray:字符串(String)或字符数组(‘aaa’或'\n'可以表示特殊符号)
bytearray:字节数组(二进制)如java中的byte[]
复杂类型:(map,tuple,Bag)
map:key/value对,key是chararray类型数据,value的类型不台有多种
map常量:['a'#'123','b'#gbz]
tuple:定长,类型任意,有序(可以通过位置得到元素,从0开始)
常量:('a',3)
Bag:无序的tuple集
常量:{('a',4),('b')}
NULL值:任何数据类型的数据都可以为null,定义与sql中的null一样
2:模式:在加载数据时,可以指定数据按什么分割放到一个定义好的类型中,这类型称为模式(类型关系数据库中的表)
例:div = load 'aa.txt' as (name[:chararray],age[:int]); 类型可省
09版本后,不指定类型会把"文件"中 超过部分截掉,如果文件中一行只有一个字段哪么age为null
加载数据时模式可以省略,套用usIng后的函数的模式,如果数据本身就有模式(如文件中的数据是josn)可以不声明模式
例:mdata = load 'a.txt' using HCatLoader();
模式中的数据类型:
除了可以使用名称进行引用还可以通过位置进行引用,从0开始,用$0表示第一个字段
pig中刚开始不知道字段的类型,它先假定是bytearray类型的,之后会跟据字段所在表达式中的别外字段决定
calcs = foreach daily generate $1 / 10 , $2 * 1.2 , substring($3,1,2),$4 - $5 , $6 > $7
因为$1的除数是整型的,哪么$1也是整型的(如果文件中不是,可以通过转换成int)
因为$2的乘数是double,哪么$2也是double的
$3是chararray类型的,因为substring处理只能是字符类型
$4,$5是double,-只能用于数值类型,为了安全转为double(转为int会丢精度,如果$4,$5确实是浮点)
$6,$7为bytearray,因为>可以用于数值,char,byte等类型
3:类型转换
pig中的类型强转跟java的一样
所有类型不可以转为bytearray,反过来可以。(复杂类型不可以转换)
4:语法
pig中除了了内置函数(如:load,LOAD)是大小字不敏感的,其它都是大小定敏感的
1):加载数据
pig默认的加载函数是:pigStorage,它会加载存放在hdfs中并以制表符分割的文件
divs = load 'a.txt' using HBaseStorage(); #从hbase中加载数据
加载文件夹,可以加载文件夹下的所有文件,也可以使用正则表达式来加载符合条件的文件(支持正则表达式由hdfs决定,hadoop20中有【?,*,[acb],[a-z],[^abc],\,{ab,cb}】)
注:using须要在as前面(a = load '/user/root/data/a.txt' using PigStorage(',') as (a:int,b:long,c:int); )
如果文件中‘没有c这列字段’或无法类型转换,在输出时为空白(不是null这个字符)
2)数据的存储
默认使用pigStorage将结果以制表分割保存到hdfs中
store proc into '/user/root/aa' using pigStorage(','); #可以指定保存的位置和分割方式
3)数据的输出
dump proc; 可以将proc输出到屏幕上
4)关系操作
foreach 把数据通过表达式传递给另外一个变量,
a = foreach A generate * ; #*表示所有字段
a = foreach A generate $1..$3; #表示装第二,三,四个字段传递给a
三目运算(b = foreach a generate (2==2?1:4);)
null == 2 ? 1 : 4 --返回null
2 == 2 ? 1 : 'aaa' --类型错误 ,冒号两边数据类型要一致
对于map中的数据,使用:map名#'字段名' 来引用,字段名不存在是返回null
对于tuple中的数据,使用:tuple名.字段名|位置 来引用,位置无是返回null,字段名无时报错
为字段命名:
Filter:过滤数据给新变量
格式:c = filter b by $0 matches '^0*';
输出:匹配就源样输出整行,否则不输出
比较操作:基本类型数据可以使用(==,!=,>,>=,<=)
map和tuple可以使用(==,!=),tuple要求模式相同或都无模式
chararray可以使用正则表达式(如:c = filter b by $0 matches '^0*')
可以在布尔操作符使用not,and.or(有短路功能)
任务成null比较都输出空白(null)【c = filter b by $1==null;】
可以使用is null或is not null判断是否为空
Group: 把具有相同键值的数据聚合在一起
格式:c = group b by $0; (所有字段可用:group b all;)(可对多个字段:c = group b by ($0,$1))
输出:以$0为key的包含模式中所有字段的bag
得到所有key:d = foreach c generate group;
group会触发一个reduce过程,会有数据倾斜(reduce不会同时结束),pig使用组合器来解决数据倾斜(组合器可以降低网络数据传输和写入磁盘的数据量,可以提高效率,用户UDF可以实现组合器)
处理null值方式是把所有key为null放在一起
Order by:对数据排序,产生一个全排序(对所有数据排序)的结果
格式:c = order b by $0; (可以降序:c = order b by $0 desc , $1; ) 只有$0降
输出:排好序的数据集(tuple)
不能对map,tuple,bag使用,所有null都最小
会进入一个reducer(它会先采样每个数据块,只取第一行先排序,然后对所有排序)
Distinct:去重
格式:c = distinct b;
会进入一个reducer
join:连接两个输入数据(匹配键值相同的数据放在一起,其它的去掉)
格式:c = join b by b1,a by a1; (可以指定多个键:c = join b by (b1,b2),a by (a1,a2);)