- 博客(4)
- 收藏
- 关注
RSS订阅原创 Java1.8HashMap一段注释的解释
/** * Computes key.hashCode() and spreads (XORs) higher bits of hash * to lower. Because the table uses power-of-two masking, sets of * hashes that vary only in bits above the current mask will ...
2019-09-28 20:06:58
568
1
原创 spark中一些不是很有意义的数据结构
Spark版本2.4.0CompactBuffer是一个基于scala的ArrayBuffer进行了优化的object数组。原生的ArrayBuffer在缺省情况就会构造一个大小为16的数组，这在一些小数据量，只有1个2个的情况，其实并不是很优雅的做法。private var element0: T = _private var element1: T = _// Num...
2019-09-18 01:55:20
277
原创 Spark OpenHashMap分析
Spark的OpenHashMap比jdk的HashMap快5倍，也会花费更少的空间。protected var _keySet = new OpenHashSet[K](initialCapacity)在OpenHashMap中，key将会存储在一个OpenHashSet中，因此先看到OpenHashSet的实现。protected var _bitset = new BitSe...
2019-09-06 01:20:15
932
原创 spark闭包清理器ClosureCleaner
在spark给出的闭包清理器中的代码注释中，关于闭包的例子，给出了一个类作为例子，稍作修改如下。class SomethingNotSerializable { def someMethod(): Unit = scope("one") { def y = someValue scope("two") { println(y + 1) } }...
2019-09-02 21:41:05
2922
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人