- 博客(4)
- 收藏
- 关注
RSS订阅原创 特质与自身类型
特质与自身类型特质scala中的特质trait是一种特殊没有多重继承可以作为接口使用特质,特质可以有实现方法 class Account { var balance = 10d } trait ConsoleLogger { def log(msg: String) { println(msg) } } class...
2018-03-14 15:21:16
483
原创 spark-core源码阅读-累加器(十)
spark-core源码阅读-累加器(十)使用场景累加器是一种支持并行只能added的特殊变量,常用来计次/求和,我们也可以自行定义新数据类型支持added基本原理累加器变量在每个task任务中依次added,把结果传到Driver端进行合并,所以这是分布式计算,只有driver端才能读取累加器最终值先看一个例子object AccumulatorTest ...
2018-03-07 00:41:58
926
原创 spark core源码阅读-广播(九)
spark-core源码阅读-广播前言(spark core源码阅读-Task介绍(六))我们讨论过submitMissingTasks,期间谈到broadcast,当时只是说把序列化过得taskBytes 广播到出去,这里详细讨论广播实现原理BroadcastManager在SparkEnv初始化时被实例化,实例化中initialize实例化BroadcastFactory,默...
2018-03-04 21:06:04
561
原创 设计模式-Visitor
引子1.方法重载class FirstTest { static class Person{ } static class Man extends Person{ } static class Test { void run(Person person) { System.out.println("this is person fun"); ...
2018-03-04 13:53:44
199
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人