【Linux】Apache Pig 部署方案

1环境介绍

1.1.提示说明

在你运行Apache Pig之前，必须在系统上安装好Hadoop和Java。

1.2.Apache Pig概述

Apache Pig是MapReduce的一个抽象。它是一个工具/平台，用于分析较大的数据集，并将它们表示为数据流。Pig通常与
Hadoop 一起使用；我们可以使用Apache Pig在Hadoop中执行所有的数据处理操作。 要编写数据分析程序，Pig提供了一种称为
Pig Latin 的高级语言。该语言提供了各种操作符，程序员可以利用它们开发自己的用于读取，写入和处理数据的功能。 要使用 Apache
Pig 分析数据，程序员需要使用Pig Latin语言编写脚本。所有这些脚本都在内部转换为Map和Reduce任务。Apache
Pig有一个名为 Pig Engine 的组件，它接受Pig Latin脚本作为输入，并将这些脚本转换为MapReduce作业。

2.安装Pig

2.1.下载及配置

wget
https://mirrors.tuna.tsinghua.edu.cn/apache/pig/pig-0.17.0/pig-0.17.0.tar.gz

创建下载目录
#mkdir /opt/hadoop/pig
解压Pig
#tar -zxvf pig-0.17.0.tar.gz
#mv pig-0.17.0/* /opt/hadoop/pig

设置环境变量
#vim /etc/profile
添加对应目录

export PIG_HOME=/opt/hadoop/pig
export PATH=$PATH:/opt/hadoop/pig/bin
export PIG_CLASSPATH=$HADOOP_HOME/conf

生成环境变量
#source /etc/profile
加载参数
#cd /opt/hadoop/pig/conf
#pig -h properties

2.2.查看安装信息
#pig -version