- 博客(3)
- 收藏
- 关注
RSS订阅
原创 golang channel 关闭之比优雅方案更优雅的方案
如果没了解过优雅方案，可以看一下这个简书如何优雅地关闭Go channel。 在我看来这些方案不优雅！不灵活！不实用！比如1个消费者N个生产者的情况下，如果要求消费者要把channel消费完该怎么处理？ 要做到优雅，我觉得有3点： 消费者不关闭channel 消费者必须把channel内的数据消费完 channel必须在没有生产者使用时被关闭 我们只要做好第3点，第1第2点唾手可得。 ...
2019-10-08 16:44:15
545
原创 spark两个节点2.2GB数据的orderby算子测试（上）
我们的任务就是分析orderby算子的流程，并用数据验证，最终总结优化方法。 spark的orderby算法，有点像桶排序，有三个阶段： 1. 抽样确定bound（水塘抽样算法，随机从n个元素中选择k个，但抽样过程中无法知道n） 2. 根据bound进行shuffle write 3. shuffle read 并在内存中排序 2.2GB数据集共5百万条记录保存在master...
2018-05-06 17:08:50
931
原创 spark两个节点2.2GB数据的orderby算子测试（下）
与（上）的不同点： 1. 输入数据在两台机器上都有拷贝，读取时直接本地读取 2. 直接输出数据到本地，每台机器上输出的是自己运行的分区 读取数据时slave5仍然只读了4个分区，等会可以看出原因，读取数据时的tasks如下： 这就导致了这次的jobs，stages，tasks的分配和上次比可以说是一样，再上一张shuffle read的总览图： 下面是ga...
2019-08-22 10:16:29
251
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人