本文主要内容包括:
1,到底什么是page
2,page具体的两种 实现方式
3,page使用源码详解
一:Tungsten中到底什么是Page?
1, 在Spark其实不存在Page这个类的。Page是一种数据结构(类似于Stack,List等),从OS层面上讲,Page代表了一个内存块,在Page里面可以存放数据,在OS中会存放很多不同的Page,当要获得数据的时候首先要定位具体是哪个Page中的数据,找到该Page之后从Page中根据特定的规则(例如说数据的offset和length)取出数据。
2,到底什么是Spark中的Page呢?
在阅读源码的时候,细致研究MemoryBlock.java,MemoryBlock代表了一个Page的对象。
3, 其中:Nullable:可以为空。为什么?Page代表了具体的内存区域以及内存里面具体的数据,Page中的数据可能是On-heap的数据,也可能是Off-heap中的数据。如果是On-heap则有对象,但是Off-heap的话就没有对象。所以用@Nullable,将对象设置为空。
其中offset:偏移量。MemoryBlock封装了Off-heap和On-heap。
3,On-heap和Off-heap寻址方式