pig 安装部署及mapreduce模式下测试

pig安装配置 

1.下载pig包：(pig-0.9.1) 

apache版本：

http://pig.apache.org/

2.解压文件：

# tar -zxvf pig-0.9.1.tar.gz

3.配置/etc/profit

1. export PIG_INSTALL=/usr/pig/pig-0.9.1  
2. export PATH=$PATH:$PIG_INSTALL/bin  
3. export PIG_HADOOP_VERSION=20      //支持hadoop版本，我的是hadoop-0.20.2  

1. source /etc/profile   使配置文件生效  

4.pig的本地模式这里就不多讲，主要讲hadoop模式下的一些配置

两种方式配置，主要是指明namenode和jobtracker的位置：

     方式 一：写profile文件 export PIG_CLASSPATH=$HADOOP_INSTALL/conf/  

  方式 二：在pig目录下的conf文件夹pig.properties 中增加 

1. fs.default.name=hdfs://hadoop149:9000/  
2. mapred.job.tracker=hadoop149:9004  

5.启动pig

 

• [root@localhost conf]# pig  
• 2011-12-06 17:57:48,357 [main] INFO  org.apache.pig.Main - Logging error messages to: /usr/pig/pig-0.9.1/conf/pig_1323165468355.log  
• 2011-12-06 17:57:48,528 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://hadoop149:9000/  
• 2011-12-06 17:57:48,634 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to map-reduce job tracker at: hadoop149:9004  
• grunt> 出现如上信息，说明pig启动成功  

   
  6 测试pig在MapReduce 模式下作业的执行

    步骤一：上传passwd到hdfs文件系统 假如路径如下 /passwd

    步骤二：在grunt编译器命令行依次执行如下命令 
          A = load '/passwd' using PigStorage(':'); 

          B = foreach A generate $0 as id;

          dump B;

          在屏幕可以直接查看命令执行结果