Hadoop之Pig

什么是Pig

Apache pig是用来处理大规模数据的高级查询语言，配合Hadoop使用，可以在处理海量数据时达到事半功倍的效果，比使用Java，C++等语言编写大规模数据处理程序的难度要小n倍，实现同样效果的代码量也小N倍。Twitter就是使用pig来处理海量数据，它的主要特点是：

易于编程

自动优化：它的编码方式允许系统自动优化执行过程，从而可以让用户专注于业务编程

可扩展性：可以轻松的编写自己定义函数

Pig的三种运行模式

Local模式

MapReduce模式

Tez

Pig的三种运行方式

交互式

批处理

嵌入式

什么是PIG Latin脚本语言

一个Pig Latin statement代表了一个操作

语句以；结尾

大小写敏感，但关键字不敏感的脚本语言

实战

数据转换

A=LOAD'/user/hive/warehouse/hive.db/hdfs_audit_text'

USING PigStorage(',')

AS(time:chararray,level:chararray,allowed:boolean,ugi:chararray,ip:chararray,cmd:chararray,src:chararray,dst:chararray,perm:chararray,proto:chararray);

B=FILTER A BY time is not null AND cmd is not null;

C=FOREACH B GENERATE

CONCAT(SUBSTRING(time,0,10),'T',SUBSTRING(time,11,19))

,level,allowed,ugi,ip,cmd,src,dst,perm,proto);

STORE C INTO '/tmp/pig_hdfs_audit_text' USING PigStorage(',');