本文介绍了Apache Pig，一个用于大数据分析的工具，它提供了SQL-LIKE的Pig Latin语言，简化了MapReduce操作。Pig具有丰富的运算符、易编程性、任务优化和可扩展性。文章详细阐述了Pig的安装部署过程，并解析了其架构，包括Parser、Optimizer、Compiler和Execution engine。在实际项目中，作者主要负责Execution engine部分的代码分析。
2021SC@SDUSC
一、Pig是什么？
Pig 是Apache平台下的一个免费开源项目，是MapReduce的一个抽象。它是一个工具，用于分析较大的数据集，并将其表示为数据流。常与Hadoop一起使用，可以使用Pig在Hadoop中执行所有的数据处理操作。
Pig提供的一种SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。
二、Pig的特点
-
丰富的运算符集 - 它提供了许多运算符提供各种操作。
-
易于编程 - Pig Latin与SQL类似，是SQL-LIKE。
-
优化 执行- Apache Pig中的任务自动优化其执行。
-
可扩展性
最低0.47元/天 解锁文章
817
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
