什么是Apache Pig

Apache Pig为大数据集的处理提供了更高层次的抽象，提供类SQL的数据处理脚本语言。配合Hadoop使用，可以在处理海量数据时达到事半功倍的效果；简化map-reduce编程，比使用Java等语言编写map-reduce程序处理大规模数据的难度要小N倍，实现同样的效果的代码量也小N倍。

Pig包括：

• Pig Latin, 类SQL数据处理语言
• 在Hadoop上运行的Pig Latin执行引擎,将pig脚本转换为map-reduce程序在hadoop集群运行

Pig的优点：

• 编码简单
• 对常见的操作充分优化
• 可扩展。自定义UDF

Pig主要用户 

• Yahoo!: 90%以上的MapReduce作业是Pig生成的 
• Twitter: 80%以上的MapReduce作业是Pig生成的 
• Linkedin: 大部分的MapReduce作业是Pig生成的 
• 其他主要用户: Salesforce, Nokia, AOL, comScore 

 Pig的主要开发者 

• Hortonworks 
• Twitter 
• Yahoo! 
• Cloudera

Pig工具

• Piggybank 
  • Pig的官方函数库 
  • 主要由Pig用户维护
  • 目前随Pig一起发行 
• Elephant bird: Twitter的Pig函数库 
• DataFu: Linkedin的Pig函数库 
• Ambros: Twitter的Pig作业监控系统 
• Mortardata: 基于云的Pig集群管理系统

Pig定位

       

Pig资料

• Pig网址：http://pig.apache.org
• Oreilly.Programming.Pig.Sep.2011（Pig编程指南）
• Apache Pig 性能优化 - Hadoop与大数据技术大会2012 http://hbtc2012.hadooper.cn/subject/track1daijianyong3.pdf
• Pig网站的文档