Pig 关系运算符

最新推荐文章于 2024-03-31 15:06:57 发布
最新推荐文章于 2024-03-31 15:06:57 发布
阅读量1k 收藏
点赞数
分类专栏： 大数据学习 文章标签： hadoop 大数据 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51309151/article/details/127161589
版权
  • 在Pig Latin中主要有六类关系运算符，分别为加载和存储、诊断、分组和连接、过滤、排序、合并和拆分。使用这六类运算符，再结合通用运算符，能够对本地货HDFS集群中的数据进行分析。
    在这里插入图片描述

一、加载和存储运算符

  • 包含两个运算符：LOAD和 STORE，用于从本地或者HDFS文件系统中加载或存储到关系中。

1. LOAD

  • 主要包含两个部分，使用等号分隔，等号左侧指定存储数据的关系，右侧需要定义存储数据的方式。
Relation_name = LOAD 'Input file path' USING function as schema;
  • Relation_name: 数据保存的目标关系名称
  • Input file path 数据保存的路径， 可以是本地或者hdfs路径。如果是hdfs中的数据，格式为：“hdfs://localhost:9000/path"
  • function 必须从Apache Pig中提供的一组加载函数中选择一个函数，

PigStorage() 加载和存储结构化文件
TextLoader() 将非结构化数据加载到Pig中
BinStorage() 使用机器可读写格式将数据加载并存储到Pig中
JsonLoader() 将非Json数据加载到Pig中

  • schema 数据模式，加载数据时必须指定数据模式，语法格式如下：
(column1:data type,column2:data type,column3:data type);

示例

创建数据文件

  • 在Linux主机中创建student.txt文件，并输入内容，列之间使用逗号分隔，保存到主目录中
108,胡占一,男,1995-06-03,95033
405,钱多多,男,1989-06-03,95031
107,朱琳琳,女,1997-05-08,95033
101,蓝樱桃,女,1996-12-11,95033
109,王三石,男,1994-07-08,95031
103,王俊毅,男,1993-09-14,95031

在这里插入图片描述

  • 启动hadoop服务器
start-all.sh

在这里插入图片描述

在这里插入图片描述

  • 创建hdfs文件夹，并上传到新建的文件夹中
hadoop fs -mkdir /pig_input
hadoop fs -put ~/data/student.txt /pig_input
hadoop fs -ls /pig_input

在这里插入图片描述

  • 以HDFS模式启动Grunt Shell，将student.txt中的数据加载到Pig中。使用Pig加载HDFS数据时需要启动hadoop的历史服务器
pig -x mapreduce
#注意自己设置的 HDFS 端口
student = LOAD 'hdfs://hadoop102:8020/pig_input/student.txt' USING PigStorage(',') as (sno:chararray,sname:chararray,ssex:chararray,sbirthday:chararray,class:chararray);
dump student;

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2. STORE

  • 由于屏幕能够显示的信息有限，需要将数据经Pig分析后的结果保存到持久化存储系统中。在Pig中可以使用STORE运算符将加载的数据存储在文件系统中
STORE Relation_name INTO 'required_directory_path' [USING function];
  • 参数说明
  • Relation_name: 关系名
  • required_directory_path: 关系目标存储路径USING
  • function: 加载函数

示例

  • 将名为student的关系中的数据导出到HDFS的/pigfile_ouput目录下并查看
#注意自己设置的 HDFS 端口
STORE student INTO 'hdfs://hadoop102:8020/pigfile_output' USING PigStorage(',');
fs -cat /pigfile_output/part-m-00000

在这里插入图片描述

二、诊断运算法

  • 诊断运算符能够验证使用LOAD语句加载到关系中的数据是否正确。

dump

  • 用于执行Pig Latin 语句，并打印结果，通常用于对代码进行调试
dump student;

在这里插入图片描述

describe

  • 用于查看关系的模式
describe student;

在这里插入图片描述

explain

  • 用于显示关系的逻辑、物理或MapReduce执行计划
explain student;

在这里插入图片描述

illustrate

  • 输出语句逐个执行的结果
illustrate student;

在这里插入图片描述

三、分组运算符

  • GROUP运算符能够对一个或多个关系中的数据进行分组，对多个关系进行分组时模型至少要包含一个相同的key。
# 对一个关系中的数据进行分组
Group_data = GROUP Relation_name BY Group_key;
# 对多个关系中的数据进行分组
Group_data = GROUP Relation_name BY Group_key, Relation_name2 BY Group_key;
  • 参数说明
  • Relation_name ：关系名
  • Group_key： 分组key

示例

  • 当前有两个数据文件，分别为contract.txt 和 temporary.txt， 在Linux系统中创建两个文件并将其上传到HDFS的/pig_input目录下
vim contract.txt

001,Rajiv,21,1254745857,Hyderabad
002,Siddarth,22,54786541785,Kolkata
003,Rajesh,22,14856978541,Delhi
004,Preethi,21,13254785642,Pune
005,Trupthi,23,9848022336,Bhuwaneshwar
006,Archana,23,487965214857,Chennai
007,Komal,24,35478595417,Trivendram
008,Bharathi,24,12547896547,Chennai

vim temporary.txt

001,Robin,22,Newyork
002,Bob,23,Kolkata
003,Maya,23,Tokyo
004,Sara,25,London
005,David,23,Bhuwaneshwar
006,Maggy,22,Chennai

在这里插入图片描述

  • 上传文件至hdfs
hadoop fs -mkdir /pig_input
hadoop fs -put ~/data/contract.txt ~/data/temporary.txt /pig_input
hadoop fs -ls /pig_input

在这里插入图片描述

  • 以MapReduce模式运行Grunt Shell， 将两个文件中的数据分别加载到contract.txt 和 temporary 关系中
pig -x mapreduce

#注意自己设置的 HDFS 端口
contract = LOAD 'hdfs://hadoop102:8020/pig_input/contract.txt' USING PigStorage(',') as (id:int,firstname:chararray,age:int,phone:chararray,city:chararray);

dump contract;

在这里插入图片描述

#注意自己设置的 HDFS 端口
temporary = LOAD 'hdfs://hadoop102:8020/pig_input/temporary.txt' USING PigStorage(',') as (id:int,name:chararray,age:int,city:chararray);

dump temporary

在这里插入图片描述

在这里插入图片描述

  • 分别对contract和temporary关系中的数据根据age进行分组
contract_group = GROUP contract BY age;
dump contract_group;

在这里插入图片描述

在这里插入图片描述

temporary_group = GROUP temporary BY age;
dump temporary_group;

在这里插入图片描述

四、连接运算符

  • OIN用于组合两个以上关系的记录，在执行该操作时，从每个关系中声明一个或一组元组作为key，当这些key匹配时，元组匹配，否则记录将被丢弃。

自连接

  • 用于与自身进行连接，通常使用不同的关系加载数据
Relation3_name = JOIN Relation1_name BY key, Relation2_name BY key;
  • 参数说明
  • Relation3_name: 连接后的数据保存的目标关系名称
  • Relation1_name, Relation2_name ：两个拥有相同数据的关系
  • key： 连接键值

示例

  • 创建名为score.txt的数据文件，并上传到HDFS的/pig_input目录下
vim score.txt

108,Hadoop生态体系,89
405,Linux操作系统,67
107,高等数学,87
103,高等数学,100

在这里插入图片描述

  • 上传HDFS
hadoop fs -put ~/data/score.txt /pig_input
hadoop fs -ls /pig_input

在这里插入图片描述

  • 以mapreduce的方式进入Grunt Shell命令行，分别将HDFS中的score.txt文件中的数据加载到score1和score2的关系中，并进行自连接
#注意自己设置的 HDFS 端口
score1 = LOAD 'hdfs://hadoop102:8020/pig_input/score.txt' USING PigStorage(',') as (stu_no:chararray,cname:chararray,degree:int);
#注意自己设置的 HDFS 端口
score2 = LOAD 'hdfs://hadoop102:8020/pig_input/score.txt' USING PigStorage(',') as (stu_no:chararray,cname:chararray,degree:int);

score3 = JOIN score1 BY stu_no, score2 BY stu_no;

dump score3;

在这里插入图片描述

内连接

  • 内连接是使用最频繁的连接方式，也称为等值连接，能够连接两个表中拥有共同谓词的数据并创建新关系。
  • 内连接在执行过程中会将A的每一行与B的每一行进行比较，以找到满足条件的所有行。
result = JOIN relation1 BY columnname, relation2 BY columnname;
  • 参数说明
  • relation1, relation2: 要进行连接操作的两个关系
  • columnname: 连接谓词

示例
将HDFS的/pig_input目录下的student.txt和score.txt中的数据加载到关系中，对student和score进行内连接操作

#注意自己设置的 HDFS 端口
score = LOAD 'hdfs://hadoop102:8020/pig_input/score.txt' USING PigStorage(',') as (stu_no:chararray,cname:chararray,degree:int);
student= LOAD 'hdfs://hadoop102:8020/pig_input/student.txt' USING PigStorage(',') as (sno:chararray,sname:chararray,ssex:chararray,sbirthday:chararray,class:chararray);
result = JOIN student BY sno, score BY stu_no;
dump result;

在这里插入图片描述

外连接

  • 左外连接
  • 能够返回左表中的全部记录和右表中匹配到的记录，右表中没有匹配到的记录使用空值代替
outer_left = JOIN relation1 BY columnname LEFT, relation2 BY columnname;
  • 示例

将HDFS中的/pig_input目录下的student.txt和score.txt两个文件中的数据分别加载到student和score关系中，并进行左外连接操作。

#注意自己设置的 HDFS 端口
score = LOAD 'hdfs://hadoop102:8020/pig_input/score.txt' USING PigStorage(',') as (stu_no:chararray,cname:chararray,degree:int);
student= LOAD 'hdfs://hadoop102:8020/pig_input/student.txt' USING PigStorage(',') as (sno:chararray,sname:chararray,ssex:chararray,sbirthday:chararray,class:chararray);
outer_left = JOIN student BY sno LEFT, score BY stu_no;
dump outer_left;

在这里插入图片描述

  • 右外连接
  • 能够返回右表中的全部记录和左表中匹配到的记录，左表中没有匹配到的记录使用空值代替
outer_right = JOIN relation1 BY columnname RIGHT, relation2 BY columnname;

示例

  • 将HDFS中的/pig_input目录下的student.txt和score.txt两个文件中的数据分别加载到student和score关系中，并进行右外连接操作。
#注意自己设置的 HDFS 端口
score = LOAD 'hdfs://hadoop102:8020/pig_input/score.txt' USING PigStorage(',') as (stu_no:chararray,cname:chararray,degree:int);
student= LOAD 'hdfs://hadoop102:8020/pig_input/student.txt' USING PigStorage(',') as (sno:chararray,sname:chararray,ssex:chararray,sbirthday:chararray,class:chararray);
outer_right = JOIN student BY sno RIGHT, score BY stu_no;
dump outer_right;

在这里插入图片描述

  • 全外连接
  • 能够返回两个表中的所有记录，表中没有匹配到的记录使用空值代替
outer_full = JOIN relation1 BY columnname FULL OUTER, relation2 BY columnname;
  • 示例
  • 将HDFS中的/pig_input目录下的student.txt和score.txt两个文件中的数据分别加载到student和score关系中，并进行全外连接操作。
#注意自己设置的 HDFS 端口
score = LOAD 'hdfs://hadoop102:8020/pig_input/score.txt' USING PigStorage(',') as (stu_no:chararray,cname:chararray,degree:int);
student= LOAD 'hdfs://hadoop102:8020/pig_input/student.txt' USING PigStorage(',') as (sno:chararray,sname:chararray,ssex:chararray,sbirthday:chararray,class:chararray);
outer_full = JOIN student BY sno FULL OUTER, score BY stu_no;
dump outer_full;

在这里插入图片描述

五、过滤运算符

  • PigLatin中包含三种过滤运算符
  • FILTER
  • 根据条件从关系中选择所需的元组
  • DISTINCT
  • 从关系中删除冗余的元组
  • FOREACH
  • 基于列数据生成制定的数据转换
    语法
#FILTER
FILTER relation BY (condition);
#DISTINCT
DISTINCT relation;
#FOREACH 
FOREACH relation GENERATE (required data);
  • 创建名为data_details.txt的数据文件，上传到HDFS的/pig_input目录下，并将数据加载到details关系中
vim data_details.txt

001,Rajiv,Reddy,9848022337,Hyderabad
002,Siddarth,Battacharya,9848022338,Kolkata
002,Siddarth,Battacharya,9848022338,Kolkata
003,Rajesh,Khanna,9848022339,Delhi
003,Rajesh,Khanna,9848022339,Delhi
004,Preethi,Agarwal,9848022330,Pune
005,Trupthi,Mohanthy,9848022336,Bhuwaneshwar
006,Archana,Mishra,9848022335,Chennai
006,Archana,Mishra,9848022335,Chennai

在这里插入图片描述

hadoop fs -put ~/data/data_details.txt /pig_input

pig -x mapreduce

details = LOAD 'hdfs://hadoop102:8020/pig_input/data_details.txt' USING PigStorage(',') as (id:int,firstname:chararray,lastname:chararray,phone:chararray,city:chararray);

在这里插入图片描述
在这里插入图片描述

  • FILTER
  • 使用FILTER运算符过滤出id为005的记录
filter_data = FILTER details BY id == 5;
dump filter_data;

在这里插入图片描述

  • DISTINCT
  • 使用DICTINCT运算符去掉数据中重复的元组
distinct_data = DISTINCT details;
dump distinct_data;

在这里插入图片描述

  • FOREACH
  • 使用FOREACH运算符从distinct_data关系中获取id， firstname和city的值，并将其存储到名为foreach_data的关系中
foreach_data = FOREACH distinct_data GENERATE id,firstname,city;
dump foreach_data;

在这里插入图片描述

六、排序运算符

  • 使用ORDER BY关键字，针对一个或多个字段进行排序。ORDER BY通常与LIMIT运算符一起使用。LIMIT运算符主要用于截取显示排序后的关系中指定数量的元组
# ORDER运算符
ORDER Realtion BY (ASC|DESC);
#LIMIT运算符
LIMIT Relation required number of tuples;
  • 将HDFS的/pig_input目录下的student.txt文件中的数据加载到名为student的关系中并按照sno进行升序排序，最后显示前两个元组
student = LOAD 'hdfs://hadoop102:8020/pig_input/student.txt' USING PigStorage(',') as (sno:chararray,sname:chararray,ssex:chararray,sbirthday:chararray,class:chararray);

order_by_data = ORDER student BY sno ASC;

limit_data = LIMIT order_by_data 2;

dump limit_data;

在这里插入图片描述

書盡
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hive 语法检查_Apache pig 语法
weixin_35749796的博客
11-28 498
Apache pig概述pig是MapReduce的一个抽象。它是一个工具，用于分析较大的数据集，并将其表示为数据流。常与Hadoop一起使用，可以使用pig在Hadoop中执行所有的数据处理操作。pig提供了一种名为pig Latin的高级语言。使用pig分析数据，需要编写pig Latin脚本，这些脚本在内部都转化为MapReduce任务。pig与MapReduce的区别：pig与hive的区...
PIG微服务前后端源码
07-29
PIG（国内微服务热度最高的一个社区）
pig源码0.15版
03-24
pig0.15源码，适合小白学习大数据参考和使用
Pig是一个用于分析大规模数据集的平台，它提供了一种脚本语言（Pig Latin）来描述数据处理流程
最新发布
BLOG域名:programb.blog.csdn.net
03-31 885
在这个示例中，我们首先使用LOAD命令将数据从文件系统加载到Pig中。最后，我们使用LIMIT命令限制输出结果的数量，并使用DUMP命令将结果打印出来。Pig是一个用于分析大规模数据集的平台，它提供了一种脚本语言（Pig Latin）来描述数据处理流程。Pig将脚本转换为MapReduce任务来执行。Pig的优势在于它提供了一种简单而强大的方式来处理大规模数据集，通过编写Pig Latin脚本，用户可以轻松地描述数据处理流程，并将其转换为高效的MapReduce任务来执行。
pig关系操作符实例
幸运小侯子
09-27 237
cogroup 　对两个对象模式，分别按指定的字段进行分组，然后按照指定的key列来分组 grunt> cat A; 0,1,2 1,3,4 grunt> cat B; 0,5,2 1,7,8 grunt> b = load 'B' usingPigStorage(',') as (c1:int,c2:int,c3:int); grunt> a...
pig基础实例运算
幸运小侯子
09-26 2325
基础运算 加减乘除（+ 、-、*、/、bincond ） 查看一下简单的文本内容 grunt> cat A; 0,1,2 1,3,4 grunt> a = load 'A' usingPigStorage(',')as(c1:int,c2:double,c3:float); grunt> b = foreach a generate $0+$1 asc1_c2; grunt>dum
山东大学软件工程应用与实践——Pig代码分析（九）
weixin_54263893的博客
12-09 203
2021SC@SDUSC
pig中通过pigLatin来分析数据
枣泥馅的博客
06-23 712
pig中的表的都是装在内存中的，如果pig命令行退出后这些表也不复存在。 1、需要把Hadoop的JobHistory Server启动 mr-jobhistory-daemon.sh start historyserver Web Console：http://ip:19888/jobhistory 2、常用的PigLatin语句 （*）load：加载数据，创建表，相当于create table （*）foreac...
大数据Pig学习
12-19
pig学习 PPT
Pig编程指南
12-27
《Pig编程指南》不仅为初学者讲解ApachePig的基础知识，同时也向有一定使用经验的高级用户介绍更加综合全面的Pig重要特性，如PigLatin脚本语言、控制台shell交互命令以及用于对Pig进行拓展的用户自定义函数(UDF)等。...
大数据pig实战
01-14
大数据pig实战，大数据pig实战，大数据pig实战大数据pig实战大数据pig实战
Pig编程指南--第5章 Pig Latin介绍
青衫背剑远游客的博客
12-07 1072
5.1 基础知识 5.1.1 大小写敏感     Pig Latin无法明确说是否大小写敏感。Pig Latin 中的关键字是非大小写敏感，例如LOAD和load是等价的。但是关系名称和字段名称是大小写敏感的。因此A = load ‘foo’；和 a = load ‘foo’；是不等价的。用户自定义函数UDF的名称也是大小写敏感的，因此COUNT和count所指的并非是同一个UDF； 5.1
Pig Latin
kuangyexiwan的博客
05-03 1961
把指定的字符串翻译成 pig latin。Pig Latin 把一个英文单词的第一个辅音或辅音丛（consonant cluster）移到词尾，然后加上后缀 "ay"。如果单词以元音开始，你只需要在词尾添加 "way" 就可以了。 function translate(str) { if (/^[aeiou]/.test(str)) { //元音开始 ...
Pig Latin语言运算符
Gao__xi的博客
04-13 660
运算符（使用本地模式） 1.LOAD运算符 LOAD ‘路径名’ USING PigStroage(‘分割符’) AS （表结构） 注 路径名如果是 本地模式，就是linux路径 若是mapreducer模式则是 hdfs路径 ，分割符默认是 ‘\t’ 2.DUMP（查看关系中的数据是以元组的形式返回） 3.DESCRIBE 关系名 小结：以上三个操作，类似于将文件内容导入数据表中 ...
Pig Latin儿童黑话（java）
Just do it !
04-25 3801
 ●如果单词以辅音字母开始，将词首的辅音字母字符串（第一个元音字母前的所有字母）从单词的开头移动到末尾，然后加上后缀ay，这样就形成了它的pig  latin。 ●如果单词以元音字母开始，只需要添加后缀way即可。 这里注意java中的分离思想，对于这种问题，我们一眼想不出解决办法的时候，我们就要把它分解成多个小问题； 对于这个问题： 首先，我们会想判断它的第一个字母是不是元音字母，
Pig-使用PigLatin操作员工表和部门表
大头皮鞋的博客
12-01 1812
前提条件： 安装好hadoop2.7.3(Linux系统下) 安装好pig(Linux系统下)，参考：Pig安装配置 准备源数据： 1. 打开终端，新建emp.csv文件 $ nano emp.csv 输入内容如下，保存退出。 7369,SMITH,CLERK,7902,1980/12/17,800,,20 7499,ALLEN,SALESMAN,7698,1981...
使用PigLatin语句分析数据
爱喝酒的波斯猫
04-09 717
使用PigLatin语句分析数据 (*) load: 加载数据到表中（bag） (*) foreach：对表中的每一条数据tuple进行处理 (*) filter: 相当于where (*) group by (*) join : 连接（多表查询） (*) generate: 提取列 (*) union/intersect：集合运算 (*) 输出：dump 直接打印在屏幕 sto...
ubuntu安装pig
11-01
要在Ubuntu上安装Pig，可以按照以下步骤进行操作： 1. 首先，确保已经安装了Java。可以使用以下命令检查Java是否已经安装：java -version。如果没有安装，可以使用以下命令安装：sudo apt-get install default-jdk。 2. 下载Pig。可以从官方网站或者镜像站点下载Pig。例如，可以使用以下命令下载Pig 0.17.0：wget https://mirrors.tuna.tsinghua.edu.cn/apache/pig/pig-0.17.0/pig-0.17.0.tar.gz。 3. 解压Pig。可以使用以下命令解压Pig：tar -xzf pig-0.17.0.tar.gz。 4. 配置环境变量。可以将Pig的bin目录添加到PATH环境变量中，以便在任何位置都可以运行Pig。可以使用以下命令将Pig的bin目录添加到PATH环境变量中：export PATH=$PATH:/path/to/pig/bin。 5. 启动Pig。可以使用以下命令启动Pig：pig。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

書盡

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值