Pig下载与安装与使用

浮生从无你、

于 2019-05-27 19:09:57 发布

阅读量4.7k

点赞数 2

本文链接：https://blog.csdn.net/qq_44712925/article/details/90609836

版权

Apache Pig是一个用于大数据分析的工具，提供类似SQL的Pig Latin语言进行数据处理。本文介绍了Pig的下载、安装步骤，包括环境变量配置，并讲解了Pig的本地模式和MapReduce模式。同时，还提到了Xftp软件用于下载和上传Pig所需的jar包，以完成在Eclipse中的环境搭建。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、什么是pig？
Pig可以看做hadoop的客户端软件，可以连接到hadoop集群进行数据分析工作
Pig方便不熟悉java的用户，使用一种较为简便的类似于SQL的面向数据流的语言pig latin进行数据处理
Pig latin可以进行排序、过滤、求和、分组、关联等常用操作，还可以自定义函数，这是一种面向数据分析处理的轻量级脚本语言
Pig可以看做是pig latin到map-reduce的映射器

二、pig安装配置
1、下载安装pig
pig下载地址： https://mirrors.tuna.tsinghua.edu.cn/apache/pig/pig-0.16.0/
2、创建Pig目录与解压

[root@test1 home]# mkdir pig   //创建pig目录
[root@test1 home]# cd pig
[root@test1 pig]# rz       //上传pig`至hadoop
[root@test1 pig]# tar -zxvf pig-0.16.0.tar.gz -C      //解压至pig目录

3、环境变量的修改

[root@test1 pig]# vi /etc/profile
export PIG_HOME=/home/pig/pig-0.16.0
export PATH=$PATH:$PIG_HOME/bin
export PIG_CLASSPATH=/home/hadoop/hadoop/etc/hadoop
[root@test1 pig]# source /etc/profile

4、检测pig是否安装成功