Soul Joy Hub

但行好事,莫问前程。

拜占庭将军问题

了解过比特币和区块链的人,多少都听说过拜占庭将军问题,或听说过比特币(或区块链)的一个重要成就正是解决了拜占庭将军问题。但真正明白这个问题的人并不多,甚至知道这个问题实质的人都很罕见。本文是一篇技术科普,将重点提供了拜占庭将军问题本身对本质及经典算法的解析,并探讨与之相关的一些问题。笔者参考了不少...

2017-02-27 17:18:57

阅读数 818

评论数 0

布隆过滤器

http://www.cnblogs.com/hxsyl/p/4176280.html 海量数据处理利器之布隆过滤器       看见了海量数据去重,...

2017-02-27 16:37:38

阅读数 456

评论数 0

一致性Hash算法

http://www.cnblogs.com/rainwang/p/4309102.html 一致性Hash算法 memcached的分布式是什么意思? 下面假设memcached服务器有node1~node3三台,应用程序要保存键名为”tokyo”、”kanagawa”、”chi...

2017-02-27 15:38:13

阅读数 424

评论数 0

深入理解Spark 2.1 Core (十二):TimSort 的原理与源码分析

http://blog.csdn.net/u011239443/article/details/57406300 在博文《深入理解Spark 2.1 Core (十):Shuffle Map 端的原理与源码分析 》中我们提到了: 使用Sort等对数据进行排序,其中用到了TimSort ...

2017-02-26 19:49:52

阅读数 2369

评论数 0

深入理解Spark 2.1 Core (十一):Shuffle Reduce 端的原理与源码分析

http://blog.csdn.net/u011239443/article/details/56843264 在《深入理解Spark 2.1 Core (九):迭代计算和Shuffle的原理与源码分析 》我们讲解了,以传统Hadoop MapReduce类似的从HDFS中读取数据,再到rdd...

2017-02-24 16:27:18

阅读数 3530

评论数 2

深入理解Spark 2.1 Core (十):Shuffle Map 端的原理与源码分析

http://blog.csdn.net/u011239443/article/details/55044862 在上一篇《深入理解Spark 2.1 Core (九):迭代计算和Shuffle的原理与源码分析》提到经过迭代计算后,SortShuffleWriter.write中: // ...

2017-02-13 21:41:03

阅读数 1860

评论数 1

深入理解Spark 2.1 Core (九):迭代计算和Shuffle的原理与源码分析

在博文《深入理解Spark 2.1 Core (七):任务执行的原理与源码分析 》我们曾讲到过: Task有两个子类,一个是非最后的Stage的Task,ShuffleMapTask;一个是最后的Stage的Task,ResultTask。它们都覆盖了Task的runTask方法。 我们来看一...

2017-02-11 20:30:54

阅读数 4861

评论数 0

提示
确定要删除当前文章?
取消 删除