- 博客(13)
- 收藏
- 关注
RSS订阅原创 山东大学软件工程应用与实践——PIG代码分析（十）
2021SC@SDUSC 目录总览代码分析总结 总览 本篇为对QueryParserDriver类进行分析的第三篇，主要分析的是在生成逻辑数据模型的过程中，对宏文件的初始化以及扩展遍历进行分析。 代码分析 总结
2021-12-07 22:18:35
246
原创 山东大学软件工程应用与实践——PIG代码分析（九）
2021SC@SDUSC 目录总览代码分析总结 总览 本篇为对QueryParserDriver类进行分析的第三篇，主要分析的是在生成逻辑数据模型的过程中，对宏文件的初始化以及扩展遍历进行分析。 代码分析 traverse makeMacroDef macroImport expandMacro 总结 ...
2021-11-30 19:46:38
219
原创 山东大学软件工程应用与实践——PIG代码分析（八）
2021SC@SDUSC 目录总览代码分析substituteParams()方法maskAlias()方法macroInline()方法总结 总览 本篇主要对PigMacro类进行分析，了解在解析器中对 宏文件（macro）的一些处理。 代码分析 substituteParams()方法 private String substituteParams(String[] inputs, String[] outputs, int line, String file) throws
2021-11-25 19:11:18
193
原创 山东大学软件工程应用与实践——PIG代码分析（七）
2021SC@SDUSC 目录总览代码分析宏的说明PigParserNode类的多种初始化PigMacro类的初始化总结 总览 本篇暂停对QueryParserDriver 类的分析，对一些该类所调用的类进行分析，以便更好对QueryParserDriver 类进行分析。本次对PigParserNode类进行分析，该类主要是对在生成抽象语法树时对宏文件的处理的一些方法的说明以及对于宏文件本身的说明，也会对PigMacro类的分析开始一些初步了解。 宏文件（macro），计算机科学里的宏是一种抽象，它根据一系
2021-11-15 20:33:04
520
原创 山东大学软件工程应用与实践——PIG代码分析（六）
2021SC@SDUSC 目录总览代码分析总结 总览 本篇为对QueryParserDriver类进行分析的第二篇，主要是对 PigServer-> QueryParserDriver，PigServer的parseQuery方法会进入QueryParserDriver的parse(query)方法，返回逻辑执行计划 代码分析 总结 ...
2021-11-10 17:01:51
520
原创 山东大学软件工程应用与实践——PIG代码分析（五）
2021SC@SDUSC 目录总览代码分析初始化parseSchema()parseConstant()总结 总览 本篇为对QueryParserDriver类进行分析的第一篇，主要是对 PigServer-> QueryParserDriver，PigServer的parseQuery方法会进入QueryParserDriver的parse(query)方法，返回逻辑执行计划 代码分析 初始化 public QueryParserDriver(PigContext pigContext, Str
2021-11-06 17:04:01
208
原创 山东大学软件工程应用与实践——PIG代码分析（四）
2021SC@SDUSC 目录总览代码分析初始化processExplain()processRegister()processPig()processIllustrate()总结 总览 本次分析主要针对的是QueryParserDriver类。QueryParserDriver类 代码分析 初始化 public DryRunGruntParser(Reader stream, String source, PigContext context) { super(stream);
2021-10-31 22:08:52
91
原创 山东大学软件工程应用与实践——PIG代码分析（二）
2021SC@SDUSC 目录总览parseRegister类resolvesToJar()方法hasFileSystemImpl()方法resolve()方法parseRegister()方法 总览 parseRegister类 寄存器解析器类 resolvesToJar()方法 private boolean resolvesToJar(URI uri) { String scheme = uri.getScheme(); return (uri.toString().endsWith
2021-10-17 23:58:23
77
原创 山东大学软件工程应用与实践——PIG代码分析（一）
2021SC@SDUSC 目录2021SC@SDUSC总览QueryParserStreamUtil类LA()方法StreamingCommandUtils类isQuotedString()方法checkAndShip() 方法checkAutoShipSpecs() 方法总结 总览 解析器parser检查脚本的语法、类型和其他一些杂项,之后解析器的输出表示pigLatin语句以及逻辑运算符。本次源码分析主要分析的是parser包的两个工具类，QueryParserStreamUtil类和Streaming
2021-10-10 18:00:00
246
原创 山东大学软件工程应用与实践PIG小组代码综述
2021SC@SDUSC 目录一、项目概述二、项目准备三、组内分工 一、项目概述 Pig是Apache项目的一个子项目，Pig提供了一个支持大规模数据分析的平台。Pig包括用来描述数据分析程序的高级程序语言，以及对这些程序进行评估的基础结构。Pig突出的特点就是它的结构经得起大量并行任务的检验，这使得它能够处理大规模数据集。 目前Pig的基础结构层包括一个产生MapReduce程序的编译器。Pig的语言层包括一个叫做PigLatin的文本语言，它具有以下几个特征： 易于编程：实现简单的和高度并行的数据分
2021-09-30 09:00:00
148
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人