Pig
文章平均质量分 89
苏伊士运河的小挖土机
一个从音乐中寻找故事的小程序员
展开
-
【软件工程实践】Pig项目13-Data目录源码分析-工厂类
2021SC@SDUSC上篇我们结束了各种元组的讲解,本篇我们来着重讲解一下pig数据结构中出现的工厂类工厂类工厂这一概念来源于面向对象设计里面的工厂模式,是一种基于面向对象思想的抽象方法,简单来说,调用者只关心数据结构的创建创建而不关心数据结构的内部实现,于是抽象出创建数据结构的工厂,Pig中有很多利用工厂模式的案例BagFactory包 工厂 ,外部宜当调用此类来创建包这个工厂类是抽象的注释:/*** 制造不同类型袋子的工厂。* 这个类是抽象的,因此如...原创 2021-12-20 13:04:18 · 247 阅读 · 0 评论 -
【软件工程实践】Pig项目12-Data目录源码分析-其他元组2
2021SC@SDUSC上篇我们讲解了AmendableTuple,本篇继续讲解其他元组其他元组AppendableSahemaTupleApendableSachemaTuples是一个抽象类,其UML如下继承关系public abstract class AppendableSchemaTuple<T extends AppendableSchemaTuple<T>> extends SchemaTuple<T>继承自...原创 2021-12-14 22:39:20 · 789 阅读 · 0 评论 -
【软件工程实践】Pig项目11-Data目录源码分析-其他元组
2021SC@SDUSC回顾下上两篇的内容其他包1中我们讲了InternalCachedBag和InternalDistinctBag,以及它的父类SelfSpillBag、SortedSpillBag其他包2中我们讲了InternalSortedBag、limitedSortedBag,它们的父类是SortedSpillBag、DataBag还剩下两种其他的包,在开元组的分析之前先把这两个讲完剩余的其他包ReadOnceBag一些注释/*** 这个包不将元组存储...原创 2021-12-06 11:50:29 · 212 阅读 · 0 评论 -
【软件工程实践】Pig项目10-Data目录源码分析-其他包2
2021SC@SDUSC本篇继续介绍其他包的变种上篇我们已经讲过的包变种有InternalCachedBag、InternalDistinctBag、SelfSpillBag、SortedSpillBag其中InternalCachedBag和SortedSpillBag继承自SelfSpillBag,InternalDistinctBag继承自SortedSpillBagInternalSortedBag继承关系,完全不出意外public class InternalSo.原创 2021-11-29 19:20:28 · 188 阅读 · 0 评论 -
【软件工程实践】Pig项目9-Data目录源码分析-其他包
2021SC@SDUSC上篇,我们Pig的数据结构基本讲完,本篇讲的是目前架构的变种InternalCachedBag首先是内部已缓存包继承关系如下public class InternalCachedBag extends SelfSpillBag所继承类的UML这个类注释里面没有标明类的作用,但是通过查看引用找到了一个测试类TestDataBag,里面有各种类的测试类,不过暂时没找到入口函数,也不知道整个项目是怎么跑起来的,所以没法直接测试了hhh,UML如.原创 2021-11-22 12:44:46 · 320 阅读 · 0 评论 -
【软件工程实践】Pig项目8-Data目录源码分析-Bag4
2021SC@SDUSC上篇,我们分析了前两种"spillable"DataBag的实现,本篇,我们将分析第三种"spillable"DataBag——DinstinctDataBag的实现回忆一下类图先去看看三种DataBag,三者继承于DefaultAbstractBag,DefaultAbstractBag实现DataBag接口,前篇已经对接口类、抽象类进行了分析,总结如下其中,以下三个接口是未实现的+ isSorted(): boolean+ isD.原创 2021-11-15 22:22:23 · 112 阅读 · 0 评论 -
【软件工程实践】Pig项目7-Data目录源码分析-Bag3
2021SC@SDUSC上篇,我们分析了DefaultAbstractBag,本篇,我们将分析三种"spillable"DataBag的实现回忆一下类图先去看看三种DataBag,三者继承于DefaultAbstractBag,DefaultAbstractBag实现DataBag接口,前篇已经对接口类、抽象类进行了分析,总结如下其中,以下三个接口是未实现的+ isSorted(): boolean+ isDistinct(): boolean+ite..原创 2021-11-09 12:37:02 · 284 阅读 · 0 评论 -
【软件工程实践】Pig项目6-Data目录源码分析-Bag2
2021SC@SDUSC上篇,我们分析了NonSpillableDataBag,本篇,我们将分析三种"spillable"DataBagData目录下包含bag的文件列表如下:回忆一下bag的类图上篇提到,创建bag的方法有两种,一种是调用BagFactory的方法,创建的是三种spillableDataBag,另一种是直接调用nonSpillableDataBag先去看看三种DataBag,三者继承于DefaultAbstractBag,DefaultAbst.原创 2021-11-04 11:14:22 · 156 阅读 · 0 评论 -
【软件工程实践】Pig项目5-Data目录源码分析-Bag
2021SC@SDUSCData目录文件列表如下原创 2021-10-30 21:34:43 · 199 阅读 · 0 评论 -
【软件工程实践】Pig项目4-Data目录源码分析-Tuple3
2021SC@SDUSC原创 2021-10-24 21:46:01 · 459 阅读 · 0 评论 -
【软件工程实践】Pig项目3-Data目录源码分析-Tuple2
2021SC@SDUSC原创 2021-10-16 20:00:00 · 99 阅读 · 0 评论 -
【软件工程实践】Pig项目2-Data目录源码分析-Tuple
2021SC@SDUSCData目录文件列表如下文件很多,我们先了解Pig的数据结构,再进行分析,其中一个很重要的概念是数据模型相关资料链接:【Pig源码分析】谈谈Pig的数据模型 -数据库-火龙果软件工程数据模型SchemaSchema为数据所遵从的类型格式,包括两个部分:field的 名称 类型field表示数据块(A field is a piece of data)可理解为数据字段Schema与Pig Latin的关系Pig Latin表达式操作的是rel.原创 2021-10-10 21:26:37 · 159 阅读 · 0 评论 -
【软件工程实践】Pig项目1-什么是Pig
2021SC@SDUSCPIG在大数据平台中的位置与作用题主并不没有上过大数据相关的课程,拿出了一份之前扫盲的时候整理的资料来带给大家Pig是一种高级数据语言,运行于HDFS之上,是hadoop上层的衍生架构主要的几种大数据架构及其之间的关系如下图所示按照不同功能进行划分,一些的大数据项目可以如下所示由上图可以看出,Pig是一种查询平台,我的资料中还有以下的引用:简介:Pig是一种编程语言,它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储..原创 2021-09-24 10:35:01 · 599 阅读 · 0 评论