spark
pengw_long
这个作者很懒,什么都没留下…
展开
-
Spark的TaskScheduler和DagScheduler
Spark的TaskScheduler和DagScheduler 开始研究神奇的spark。会陆续将研究的心得放上来。 在Spark中一个核心的是模块就是调度器(Scheduler),在spark中Scheduler有两种TaskScheduler(是低级的调度器接口),DagScheduler(是高级的调度) 我们在创建SparkContext对象的时候,sparkcontext内部就会创建Ta...转载 2019-02-24 22:46:28 · 281 阅读 · 0 评论 -
Scala隐式转换
Scala隐式转换 隐式转换 Scala编程语言中引入了一种叫做隐式类的新特性。隐式类指的是用implicit关键字修饰的类。在对应的作用域内,带有这个关键字的类的主构造函数可用于隐式转换。隐式转换是一项强大的程序语言功能,它不仅能够简化程序设计,也能够使程序具有很强的灵活性。掌握Scala语言隐式转换,了解其隐式转换的作用与原理是很有必要的,否则很难得以应手地处理日常开发中的问题。 在Scala...转载 2019-03-02 11:16:51 · 122 阅读 · 0 评论