第9节：从spark源码角度分析scala面向对象思想

最新推荐文章于 2018-11-20 13:28:00 发布
最新推荐文章于 2018-11-20 13:28:00 发布
阅读量188 收藏
点赞数
分类专栏： scala 文章标签： scala spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012036736/article/details/78453033
版权

主构造器

在scala中构造器一定用this


sparkcontext运行一定有自己的配置对象


有些全局配置可以在程序开始时就被实例化，有的可以不实例化，用lazy修饰，只有在使用的时候才会实例化


scala中没有static来修饰静态变量活方法，所以全局用object来定义唯一的实例，如果想定义很多实例时，一般用工厂方法模式


一般写框架的人都喜欢用伴生对象，原因除了是全局性的，节省空间，公用性的，还有就是oject中的方法不是类的成员，所以object中的方法可以改，如果以后业务改变了，

直接改object中的方法即可，有利于架构和代码重构！！！


挖矿的小强
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Scala编程——第九章：面向对象编程（高级部分）—— Scala静态概念
lightupworld的博客
08-11 169
面向对象编程中级——Scala静态概念一、静态概念1.单例对象2.伴生对象3.apply方法4.应用程序的对象 面向对象编程中级部分，主要学习Scala中的静态概念、类的继承等相关知识。 一、静态概念 1.单例对象 Scala比Java 更具有面向对象的特点，Scala的类不允许有静态（ static ）成员。 Scala虽然没有静态方法或者静态字段。对此类使用场景， Scala提供Object语法(单例对象)来达到相同的目的。 单例对象(singleton object) de 定义看上去和类相似，使用
深入理解Spark：核心思想及源码分析.pdf
04-12
《深入理解Spark：核心思想及源码分析》这本书旨在帮助读者深入掌握Apache Spark这一大数据处理框架的核心原理与实现细节。Spark作为一个快速、通用且可扩展的数据处理系统，已经在大数据领域得到了广泛应用。它提供...
第74讲：从Spark源码的角度思考Scala中的模式匹配学习笔记
slq1023的博客
08-01 567
第74讲：从Spark源码的角度思考Scala中的模式匹配学习笔记： Spark 的RegisterWorker源码： case class RegisterWorker( id:String, host:String, port: Int cores:Int memory:Int webUiPort:Int publicAddress: String)     extends
第7课：零基础实战Scala面向对象编程及Spark源码解析
八嘎兔
09-19 227
本课内容 1.Spark中面向对象鉴赏 2.Scala中面向对象代码操作实战  ------------------------------------------------------------------------------------------------------------------------ /**  * 如果有这些语法的支持，我们说这门语言是
Scala面向对象彻底精通及Spark源码阅读
a11a2233445566的专栏
10-11 413
第二课：Scala面向对象彻底精通及Spark源码阅读       一、 Scala中的类、object实战详解 Scala是纯面向对象语言。谈面向对象，一定要谈类，类把数据和代码封装起来。   类 跟Java一样，Scala也是用关键字class来定义类。示例如下：   scala> class HiScala{      | private var name =
第2集：Scala面向对象彻底精通及Spark源码阅读
weixin_30300225的博客
01-10 53
定义类class HiScala {private var name = "Spark"def sayName(){println(name)}def getName=name} 实例化类scala> val scal = new HiScalascal: HiScala = HiScala@769d96e0 调用类的方法scala> scal.sayName()Spark ...
《深入理解SPARK：核心思想与源码分析》（第2章）
无
08-17 7466
《深入理解Spark：核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK：核心思想与源码分析》一书正式出版上市 《深入理解Spark：核心思想与源码分析》一书第一章的内容请看链接《第1章 环境准备》 本文主要展示本书的第2章内容： SPARK设计理念与基本架构 “若夫乘天地之正，而御六气之辩，以游无穷者，彼且恶乎待哉？” ——《庄子·逍遥游》 n  本章导读： 上一章，介...
Scala实战高手****第7课：零基础实战Scala面向对象编程及Spark源码解析
weixin_30344131的博客
11-20 58
/***如果有这些语法的支持，我们说这门语言是支持面向对象的语言*其实真正面向对象的精髓是不是封装、继承、多态呢？*--->肯定不是，封装、继承、多态，只不过是支撑面向对象的*一些语言级别的语法和功能，真正的面向对象其实有三个核心特征：*第一：对象不用关心消息从哪里来，也不关心消息到哪去，只关心消息处理本身*，也就是说面向对象是弱耦合的且对象是消息驱动的，或者说对象是...
Scala 面向对象编程之继承
Running_Tiger的博客
03-03 271
Scala 面向对象编程之继承1. Scala 中继承(extends) 的概念 Scala 中，让子类继承父类，与 Java 一样，也是使用 extends 关键字； 继承就代表子类可继承父类的 field 和 method ，然后子类还可以在自己的内部实现父类没有的，子类特有的 field 和 method，使用继承可以有效复用代码； 子类可以覆盖父类的 field 和 method，但是如果父
第七课：零基础实战Scala面向对象编程
chuanshu8252的博客
07-30 123
面向对象的三大特征：1.对象只需要关心消息处理本身，不需要关心消息哪里来，去哪里（也就是数据驱动） 2.一个对象的行为不会影响另外一个对象 3.面向接口编程 也就是说，Scala和Java都不是面向对象的语言，都只是支持面向对象的语言，用封装，继承，多态来支持者三大特征 函数：是...
大数据处理利器：Spark+ZooKeeper+Kafka Scala源码示例
03-25
文件类型多样，包括175个class文件，109个crc校验文件，82个Parquet数据文件，以及67个Scala源码文件等。 项目特色： - 功能全面：涵盖批处理、流处理及机器学习等多种大数据处理场景。 - 语言高效：主要使用Scala...
Scala和Spark大数据分析函数式编程、数据流和机器学习
04-23
Scala融合了面向对象和函数式编程的特性，这使得代码更加简洁且易于维护。它的类型系统确保了代码的稳定性，而高阶函数和模式匹配等特性则提供了处理复杂数据结构的强大工具。在大数据分析中，Scala的集合API是一大...
基于Scala的Spark学习项目设计源码
04-04
本设计源码提供了一个基于Scala的Spark学习项目。项目包含95个文件，主要使用Scala和Java编程语言。文件类型包括80个Scala源代码文件、4个XML配置文件、3个TXT文档、2个Markdown文档、2个Java源代码文件、1个GIT忽略...
基于Scala的Apache Spark流感病毒数据分析设计与实现源码
最新发布
04-11
本源码提供了一个基于Scala的Apache Spark流感病毒数据分析设计与实现源码。项目包含99个文件，其中包括40个Scala文件、24个CRC文件、20个Parquet文件、9个XML文件、2个Gitignore文件、1个Markdown文档、1个output/...
Kafka+Spark Streaming+Redis实时计算整合实践
挖矿的小强的博客
09-25 1988
基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像Spark Streaming、Spark SQL、MLlib、GraphX，这些内建库都提供了高级抽象，可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里，我们基于1.3.0版本的Spark搭建了计算平台，实现基于Spark Streaming的实时计算。 我
第22节：Scala集合和高级函数操作
挖矿的小强的博客
04-23 825
scala> (1 to 10) res0: scala.collection.immutable.Range.Inclusive = Range(1, 2, 3, 4, 5, 6, 7, 8,  9, 10) scala> (1 to 10).re :8: error: value re is not a member of scala.collection.immutable.Rang
Scala隐式转换和作用域分析
挖矿的小强的博客
04-26 752
1 Scala隐式转换内幕 2 Scala作用域 3 Scala隐式转换思考  /**  * 隐式转换和作用域  */ class Implicits(x: Int) {   def printValue = {     val x = 100     println(x)   } } class RicherFile(val file: java.io.F
第4节：Scala控制结构if..else,for,while,breakable
挖矿的小强的博客
10-21 609
控制结构在spark源码中的鉴赏     none 省写的话默认是（）是返回any类型，而none是optional类型。           case object None extends Option[Nothing] {   def isEmpty = true   def get = throw new
零基础入门：实战Spark集群与Scala教程
"《Spark实战高手之路-第2章动手实战Scala（1）》是一本深入浅出的Spark技术教程，由王家林编著，作为Spark亚太研究院系列丛书的一部分。该章节主要针对已经对Spark有一定了解或希望开始学习Scala语言的读者，提供了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值