![](https://img-blog.csdnimg.cn/20190510175723207.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark学习之路-思想
文章平均质量分 93
走在Spark源码学习的路上。我们要学习到的是不仅仅是代码,还有思想。
天心有情
这个作者很懒,什么都没留下…
展开
-
Spark自定义集合简单介绍
集合浅析文章目录集合浅析AppendOnlyMapBitSetCompactBufferSizeTrackingAppendOnlyMapSizeTrackerExternalAppendOnlyMapMedianHeapOpenHashMapOpenHashSetPartitionedAppendOnlyMapPartitionPairBufferPrimitiveKeyOpenHashMapPrimitiveVectorPrimitiveVectorAppendOnlyMap简单介绍Append原创 2021-01-21 15:01:24 · 335 阅读 · 1 评论 -
Spark涉及的设计模式-创建型-单例模式
Spark涉及的设计模式-创建型-单例模式文章目录Spark涉及的设计模式-创建型-单例模式单例模式的作用在spark中使用的例子单例模式的作用单例模式主要是避免了一个全局使用的类频繁地创建和销毁。当想要控制实例数据节省系统资源的时候可以使用。在java中单例模式有很多种写法,比如什么饱汉、饿汉,双重检查等等但是在scala语言中这个完全不需要什么这么多花里胡哨的,仅仅需要一个伴生对象。伴生对象就是单例模式的。伴生对象采用object声明在spark中使用的例子在spark中简单举一个例子p原创 2020-08-04 11:04:44 · 545 阅读 · 0 评论 -
spark涉及的设计模式-创建型- 建造者模式
spark涉及的模式-创建型- 建造者模式文章目录spark涉及的模式-创建型- 建造者模式定义:该模式的应用建造者模式角色结构具体实现定义:将一个复杂的构造和他的表示分离,是的相同的构建过程可以创建不同的表示该模式的应用该模式主要关注于各种部件的组装问题。回想Spark1.X时代,那是想要使用一个Spark环境就必须创建一个SparkConf,然后将它传入一个SparkContext的构造方法内。当然了还有sqlContext和hiveContext。这些由用户自行创建都是比较凌乱的,没有进行原创 2020-07-31 14:39:59 · 378 阅读 · 0 评论 -
Spark涉及的设计模式-创建型-原型模式
Spark涉及的设计模式-创建型-原型模式文章目录Spark涉及的设计模式-创建型-原型模式定义使用原型模式在Spark中的应用定义使用原型实例指定创建对象的种类,并通过拷贝这些对象的原型创建新的对象。使用原型模式主要用于对象的复制,无论时java和scala都会提供一个Cloneable接口。他们的左右只有一个,就是实现了该接口之后可以调用对象的clone方法。其实scala的cloneable接口也是继承的java的cloneable的接口。package scala/** * Cl原创 2020-07-30 15:57:17 · 418 阅读 · 1 评论 -
Spark涉及的设计模式-创建型-工厂方法模式
设计模式-创建型-工厂方法模式文章目录设计模式-创建型-工厂方法模式工厂接口工厂实现客户端为什么不用抽象工厂模式说在前面的话:说到工厂方法模式不得不说的就是简单工厂模式(又名静态方法模式),简单工厂模式就是他的行为就很简单,就是定义一个接口用来创建对象。但是它创建工厂类的时候是通过客户端传入参数进行决定创建什么工厂的。这样如果需要添加一个工厂那么就需要改变这个工厂类。这样就违背了开闭原则。而工厂方法模式则不通,他是通过客户端就决定实例化哪个工厂进行决定的,这样需要修改的是客户端和添加新的工厂类这里我原创 2020-07-30 15:09:44 · 295 阅读 · 0 评论