Pig的安装配置

一、简介

Pig是基于hadoop的一个数据处理的框架。相对于MapReduce是使用java进行开发的，Pig有一套自己的数据处理语言，Pig的数据处理过程要转化为MR来运行。

Pig基本数据类型：int、long、float、double、chararry、bytearray

复合数据类型：Map、Tuple、Bag 

         Bag的类型如{('age',31),('name','张三')}

 

二、安装配置

我使用的是pig-0.11.1版本，下载地址http://pan.baidu.com/s/1slei0Qp

1．  解压

解压到/usr/local/pig-0.11.1目录，我的安装包在桌面

命令：sudo tar –zxvf /home/zhong/Desktop/ pig-0.11.1.tar.gz –C /usr/local

2．  配置环境变量

命令：sudo  gedit  /etc/profile

添加：

exportPIG_HOME=/usr/local/pig-0.11.1

export PATH=$PIG_HOME/bin:$PATH

执行命令：source  /etc/profile使配置生效

 

3．  设置Pig与Hadoop关联

进入$PIG_HOME/conf中，编辑pig.properties文件，加入以下两行内容：

fs.default.name=hdfs://Master:9000

mapred.job.tracker=Master:9001

4.启动在PIG_HOME/bin目录下执行命令：./pig 即可进入grunt进行pig操作