pig学习笔记——运行与语法

最新推荐文章于 2023-11-13 14:09:04 发布

miaomiao_wj0

最新推荐文章于 2023-11-13 14:09:04 发布

阅读量566

点赞数

分类专栏： Hadoop

本文链接：https://blog.csdn.net/u011497897/article/details/50843985

版权

本文介绍了Apache Pig的学习笔记，包括两种执行模式：local mode和MapReduce mode，以及数据关系的详细解释，如关系、包、元组、字段和数据的概念。此外，还通过多个实例展示了Pig的基本用法，如计算平均值、使用FLATTEN、FILTER、JOIN、FOREACH...GENERATE、ORDER...BY和SUBSTRING等操作。

摘要由CSDN通过智能技术生成

1.执行模式

local mode

在本地模式下，Pig运行在单个JVM中，访问本地系统，适用于处理小规模数据集

% pig -x local
grunt>

MapReduce mode

2.数据关系

关系（relation）、包（bag）、元组（tuple）、字段（field）、数据（data）的关系

一个关系（relation）是一个包（bag），更具体地说，是一个外部的包（outer bag）。
一个包（bag）是一个元组（tuple）的集合。在pig中表示数据时，用大括号{}括起来的东西表示一个包——无论是在教程中的实例演示，还是在pig交互模式下的输出，都遵循这样的约定，请牢记这一点，因为不理解的话就会对数据结构的掌握产生偏差。
一个元组（tuple）是若干字段（field）的一个有序集（order