pig
文章平均质量分 72
iteye_8118
这个作者很懒,什么都没留下…
展开
-
【转】pig中各种sql语句的实现
Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。使用pig可以在处理海量数据时达到事半功倍的效果,比使用Java,C++等语言编写大规模数据处理程序的难度要小N倍,实现同样的效果的代码量也小N倍。我们可以在不熟悉map/reduce的情况下使用类似与sq...原创 2014-07-17 16:05:30 · 225 阅读 · 0 评论 -
pig将查询翻译为MapReduce作业
wget http://mirrors.cnnic.cn/apache/pig/pig-0.13.0/pig-0.13.0-src.tar.gz tar -xvf pig-0.13.0-src.tar.gz hadoop@hadoop:~$ vim .bashrc export ANT_OPTS="-Dhttp.proxyHost=proxy.com -Dhttp.proxyPort...原创 2014-07-17 17:33:15 · 260 阅读 · 0 评论