- 博客(2)
- 资源 (10)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 spark2.3源码分析之RDD的persist流程
概述当根据存储级别缓存RDD时，其实是将RDD数据存储到BlockManager的memoryStore和diskStore。memoryStore最终是通过调用UnifiedMemoryManager#acquireStorageMemory()方法分配storage memory，所以缓存RDD到内存使用的是storage memory的内存。cache()方法时最终调用的是persi...
2019-07-31 15:26:09
919
1
原创 spark2.3源码分析之ResultTask读取并处理shuffle file的流程（二）
概述大部分map task与reduce task的执行是在不同的节点上，reduce执行时需要跨节点去拉取其它节点上的ShuffleMapTask结果，那么对集群内部的网络资源消耗会很严重。我们希望最大化地减少不必要的消耗, 于是对Shuffle过程的期望有：完整地从map task端拉取数据到reduce 端。 在跨节点拉取数据时，尽可能地减少对带宽的不必要消耗。 减少磁盘I...
2019-07-03 19:56:42
933
viewpager实现页面导航之三
新特点是使用translateAnimation位移动画实现被选中的点的移动。而不是用以往的方法实现点的切换。之所以说是点的移动而不是点的切换是因为，运行代码滑动页面时真的可以看到像在Flash中绿点的移动效果。以往的方法只是一个点换成灰色图片，另一个换成绿色图片，没有移动。
2015-07-22
viewpager与预编译的点布局实现页面导航效果
该源代码简洁的实现了在页面滑动时点的变化，而且包容点的布局是经过重写的布局，单独作为一个文件，不在MainActivity.java中，耦合低
2015-07-20
导入第三方类库却出现the importXXX can not be resolved
2015-06-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人