网络
张包峰
Distributed Computing
展开
-
Chord算法实现详细
Chord算法原理介绍可以先了解下,本文侧重Chord的实现,具体是构造Chord环的实现,即如何初始化和新增节点。其他对环的操作都可以类比,而且实现会更简单。Chord的开源实现主要有两个,一个是单机版的jchord,另一个是集群形式的open chord项目。以下描述都是参考开源项目代码展开的。下面简单总结我对Chord的理解。Chord这种DHT的实现,本质上是在一致性哈希的基础上,增加了Finger表这种快速路由信息,通过在节点上保存整个网络的部分信息,让节点的查找/路由以O(logN)的代价原创 2014-05-28 18:58:37 · 14062 阅读 · 1 评论 -
pyspark原理简介
这是前段时间在看spark的python支持的时候,简单过了一下pyspark里的python代码,整理了一个大致流程。虽然几乎不会python,但基本上能看懂pyspark是怎么让不同虚拟机之间传输数据的、如何在python环境调用java类的、pyspark SDK的丰富程度取决于什么、需要做些什么流程和封装等。我看了下,应该只有Pyspark Internals这篇wiki里介绍了pyspark的实现机制,大体是下面这张图就可以表示原创 2014-07-30 22:08:20 · 25267 阅读 · 1 评论