Pig

Pig概念：
Apache Pig是建立在Hadoop之上的一个数据管理工具（类似Hive），用于分析较大的数据集，Pig通常与Hadoop 一起使用；我们可以使用Pig在Hadoop中执行所有的数据处理操作。
用户只需要借助 Pig Latin 的高级语言，编写对应的业务逻辑即可提交执行作业到Yarn上执行。
Apache Pig 为不熟悉MR编程的人降低管理大数据集的门槛。也为大数据高效管理提供技术支撑。

Pig架构：

如上图：
Latin ：是Pig提供的给客户端的输入和输出接口；
Zebra: 根据Latin接收到的命令，编写高效的MapReduce程序；
Streaming: 主要负责创建MapReduce作业，并提交Yarn上运行，监控作业运行过程。

Pig的安装与配置：
Pig是客户端管理软件，只需要安装在一台机器上即可。
1.解压安装包：
cd /opt/mysoft
解压：tar -zxvf pig-0.16.0.tar.gz
改名：mv pig-0.16.0 pig

2.配置信息
cd /opt/mysoft/pig
创建目录，保存Pig运行时的日志文件：
mkdir log
cd /opt/mysoft/pig/conf
vi pig.properties 如图：

将pig配置到环境变量中：
vi /etc/profile

使设置的环境变量生效：source /etc/profile

注意：
pig-0.16要求yarn.nodemanager.resource.memory-mb 配置项最低是：1536M，所以需要将 yarn-site.xml修改为：1540 ，若不使用pig, 则hadoop2.7.4要求设置为：1024m 即可。

3.验证pig
1-启动hadoop集群(start-all.sh)
2-在主节点启动historyserver服务：
mr-jobhistory-daemon.sh start historyserver
其它节点上不用启动historyserver服务，因为pig需要调用该服务
3-进入：cd /opt/mysoft/pig/bin
pig

基本使用之本地模式：
多用来测试用，能加载本地数据也能加载HDFS数据，只是运行在本地Hadoop一台环境。

启动：
pig -x local
加载本地数据 （注意load前后有空格 ，PigStorage ：区分大小写）

stu = load ‘/shopping/66.txt’ using PigStorage (’,’) as (id:int,subject:chararray,name:chararray,score:int,grade:chararray);
dump stu;
分组：
stu_group = group stu by (grade,name);
dump stu;
查询：
stu_group_res = foreach stu_group generate group,(COUNT(stu.id),SUM(stu.score));
dump stu_group_res;

查看表结构：
describe stu

显示加载对象数据 （dump命令时，才真正提交请求到Yarn上运行。）
dump stu;

条件过滤 （）
filterStu = filter stu by id==1;

MR集群模式：
Pig的请求任务提交到Yarn运行在Hadoop集群中。生产环境中常用模式

MR模式启动
直接输入：pig

pig导出hdfs：
store stu_group_res into ‘/pigRes’ using PigStorage (’,’);

总结：
1: Pig是基于Hadoop之上的为用户提供简介的操作接口的开源框架。
通过接收用户查询命令---->生成高效的MR客户端程序----->生成/提交/监控Job运行----->将结果返回客户端。
2：Pig运行分本地模式和 MR集群模式；掌握二者的区别；
3：掌握Pig 中三个重要的组成部分：Latin ,Zebra,Streaming.