博客专栏  >  云计算   >  Pig系统分析

Pig系统分析

本系列文章结合Pig源码,分析其架构设计和运行主线流程,目的是借鉴Pig Latin on Hadoop,探索(类)Pig Latin on Spark的可能性

关注
1 已关注
8篇博文
  • Pig系统分析(8)-Pig可扩展性

    本文是Pig系统分析系列中的最后一篇了,主要讨论如何扩展Pig功能,不仅介绍Pig本身提供的UDFs扩展机制,还从架构上探讨Pig扩展可能性。 补充说明:前两天同事发现twitter推动的Pig On...

    2014-05-05 14:35
    1667
  • Pig系统分析(7)-Pig实用工具类

    Explain Explain是Pig提供的调试工具,使用explain可以输出Pig Lation的执行计划。值得一提的是,explain支持-dot选项,将执行计划以DOT格式输出, (DOT是一...

    2014-05-05 11:07
    1176
  • Pig系统分析(6)-从Physical Plan到MR Plan再到Hadoop Job

    从Physical plan到Map-Reduce Plan 注:因为我们重点关注的是Pig On Spark针对RDD的执行计划,所以Pig物理执行计划之后的后端参考意义不大,这些部分主要分析流程,...

    2014-05-04 17:10
    1551
  • Pig系统分析(5)-从Logical Plan到Physical Plan

    Physical Plan生成过程 优化后的逻辑执行计划被LogToPhyTranslationVisitor处理,生成物理执行计划。 这是一个经典的Vistor设计模式应用场景。 其中,LogTo...

    2014-04-24 14:02
    1439
  • Pig系统分析(4)-Logical Plan Optimizer

    优化过程 Pig哲学之二——Pigs Are Domestic Animals。用户拥有足够的控制权。具体到逻辑执行计划的优化上,用户可以根据自己情况选择适合的优化规则(也可以理解为优化这块还大有潜...

    2014-04-24 12:24
    930
  • Pig系统分析(3)-从Pig Latin到Logical plan

    Pig基于Antlr进行语法解析,生成逻辑执行计划。逻辑执行计划基本上与Pig Latin中的操作步骤一一对应,以DAG形式排列。 以如下代码为例进行分析,包含了load、filter、join、g...

    2014-04-23 15:30
    1333
  • Pig系统分析(2)-Loader/Store/Schema

    1      Loader/Store/Schema Pig哲学之一——Pigs Eat Anything。Pig能够从不同数据源加载数据,能够处理不同格式的数据。Pig使用Loader/Store...

    2014-04-22 21:08
    1410
  • Pig系统分析(1)-概述

    1      概述 Apache Pig是Yahoo!为了让研究人员和工程师能够更简单处理、分析和挖掘大数据而发明的。尽管Pig的学习成本比Hive要高一些,但是Pig的优点是表达能力和灵活性更胜一...

    2014-04-21 17:13
    1121
img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部