超级会员免费看
Apache Pig是一个用于大数据集处理的工具，其设计目标是简化MapReduce编程。Pig提供了Pig Latin语言，让用户可以编写高级查询。Pig有两种运行模式：Local和MapReduce。在Local模式下，它在单机上运行，而在MapReduce模式下，它需要Hadoop集群。Pig可以通过Grunt shell、Pig script或嵌入Java代码来使用，但通常在项目中应用较少。
应用场景
Pig并不适合所有的数据处理任务，和MapReduce一样，它是为数据批处理而设计的，如果想执行的查询只涉及一个大型数据集的一小部分数据，Pig的实现不会很好，因为它要扫描整个数据集或其中很大一部分。
随着新版本发布，Pig的表现和原生MapRedece程序差距越来越小，因为Pig的开发团队使用了复杂、精巧的算法来实现Pig的关系操作。除非你愿意花大量时间来优化Java MapReduce程序，否则使用Pig Latin来编写查询的确能帮你节约时间。
操作步骤
1 Pig介绍
Pig是yahoo捐献给apache的一个项目，使用SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中。Pig 有两种运行模式：Local 模式和 MapReduce 模式。
- 本地模式：Pig运行于本地模式，只涉及到单独的一台计算机
- MapReduce模式：Pig运行于MapReduce模式，需要能访问一个Hadoop集群，并且需要装上HDFS
Pig的调用方式ÿ
订阅专栏 解锁全文
扫一扫
232
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
