- 博客(3)
- 收藏
- 关注
RSS订阅转载 Spark
什么时候需要 shuffle writer 假如我们有个 spark job 依赖关系如下 我们抽象出来其中的rdd和依赖关系: E <-------n------, C <–n—D---n-----F–s—, A <-------s------ B <–n----`-- G 对应的划分后的RDD结构为： 最终我们得到了整个执行过程： 中间就涉及到shuffle 过程，前一个stage
2021-06-05 22:28:19
52
原创 ArrayList集合解析
ArrayList集合解析 优点：查询快由于数组在内存中是一块连续的空间，所以就可以根据索引+地址的方式查找快速获取对象位置上的位置。 缺点：增删慢，每次删除都需要更改数组长度，移动元素位置 public class ArrayList<E> { /** * 默认初始容量 */ private static final int DEFAULT_CAPACITY = 10; /** * 空数组 */ private static fi
2021-05-08 10:47:23
35
原创 2021-03-19
# MergeTree 家族索引 ## 1.MergeTree - MergeTree 是clickHouse数据存储功能的核心。 MergeTree在写入一批数据时，数据总会以数据片段的形式写入磁盘，且数据片段不可修改，为了避免数据片段过多click house会通过后台线程定期合并这些数据片段，属于相同分区的数据片段会被合成一个新的片段。这些数据片段往复合并的特点正是合并树名称的由来. - 基本格式 ```sql CREATE TABLE [IF NOT EXISTS] [db.]t...
2021-03-19 21:12:25
110
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人