- 博客(18)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 sharding的lookup
<br />数据库sharding Lookup技术探讨<br />数据库sharding技术最近几年越来越火热。 Sharding是shared-nothing的缩写，也可称其为horizontal partitioning/horizontal split，即数据库切片。将一个大的数据库切成几个功能一样，逻辑关系和物理上毫不相干的数据库。<br /><br />数据库sharding有几个主要的优点：<br />1. Database sharding提供了近似线性扩展的架构。可以随着应用的增长线性的增
2010-10-25 20:14:00
373
转载 sharding基本介绍
<br /><br />注：此文首发于 《程序员》杂志 2008 年 7 月刊。从 Shard 到 Sharding <br />"Shard" 这个词英文的意思是"碎片"，而作为数据库相关的技术用语，似乎最早见于大型多人在线角色扮演游戏(MMORPG)中。"Sharding" 姑且称之为"分片"。<br />Sharding 不是一门新技术，而是一个相对简朴的软件理念。如您所知，MySQL 5 之后才有了数据表分区功能，那么在此之前，很多 MySQL 的潜在用户都对 MySQL 的扩展性有所顾虑，而是否具
2010-10-25 19:46:00
379
原创 eMule中的分布式哈希表技术: Kademlia（转）
Kademlia简述 Kademlia(简称Kad)属于一种典型的结构化P2P覆盖网络(Structured P2P OverlayNetwork)，以分布式的应用层全网方式来进行信息的存储和检索是其尝试解决的主要问题。在Kademlia网络中，所有信息均以的哈希表条目形式加以存储，这些条目被分散地存储在各个节点上，从而以全网方式构成一张巨大的分布式哈希表。我们可以形象地把这张哈希大表看成是一本字典：只要知道了信息索引的key，我们便可以通过Kademlia协议来查询其所对应的value信息，而不管这
2010-10-19 11:18:00
323
转载 哈希的原理和代价（转载）
<br />哈希表和哈希函数是大学数据结构中的课程，实际开发中我们经常用到Hashtable这种结构，当遇到键-值对存储，采用Hashtable比ArrayList查找的性能高。为什么呢？我们在享受高性能的同时，需要付出什么代价(这几天看红顶商人胡雪岩，经典台词：在你享受这之前，必须受别人吃不了的苦，忍受别人受不了的屈辱)，那么使用Hashtable是否就是一桩无本万利的买卖呢？就此疑问，做以下分析，希望能抛砖引玉。<br />1)hash它为什么对于键-值查找性能高<br />学过数据结构的，都应该晓得，
2010-10-18 10:53:00
236
转载 BigTable的功能集（转）
本文是HBase的欧洲传道者LARS GEORAGE的HBase vs. BigTable Comparison（需要翻墙）一文的节选翻译版。 论文中提到的特性<br />首先，向大家介绍在2006年OSDI大会上发表BigTable论文，也就是《Bigtable: A Distributed Storage System for Structured Data》里面所提到的一些特性：<br />特性<br />BigTable<br />HBase<br />注释原子的读写和修改支持，基于Row的支持，基
2010-10-16 11:15:00
423
转载 BigTable的分布式模型（转）
在介绍了BigTable的存储模型之后，本篇将重点给大家介绍其分布式模型。由于本文大多数内容参考BigTable的论文，如果有些博友已经熟读这篇论文，可以跳过本文。综述从分布式的角度而言，BigTable会涉及总共五种独立的构件：1.Client端的库：一个基于BigTable的应用会根据其所使用语言的不同，而选择不同的Client端库来访问一个BigTable系统。 2.Chubby服务：一个高可用、分布式的锁服务，用于协调整个BigTable的运作。 3.Master节点：分
2010-10-16 11:14:00
419
转载 BigTable的存储模型（转）
<br />经过这几天的开发工作，我已经将YunTable所需的一些基本类库搭建起来，比如内存管理，字符串处理，I/O处理和基本的数据结构等，由于之前的编程以Java为主，所以在这方面花了一定的时间，导致整个项目的进度偏离了之前的预期，但是我也有很多的收获，比如我感受到了Java和C之间的异同：异就是Java能通过JVM和JDK提供给程序员一个非常便捷和安全的开发环境，就好象一个温室那样，而C语言呢？则是提供一个简单到以至于简陋的工具给程序员，但是却导致其具有非常强大的灵活性，在这方面，有点类似围棋。而同呢
2010-10-16 10:41:00
381
转载 BigTable的数据模型（转）
<br />本文将深入分析BigTable的数据模型，并介绍它是如何被调用的。数据模型<br />就像向我之前所说的那样，其实BigTable顾名思义，是一个非常大的表，而且是一个能存储几十亿行（Row）和几千列（Column）的非常巨大的表。什么表会怎么大呢？接下来，举一些简单的例子，比如：用于中国所有公民的个人信息和Internet上所有网站内容的表，这些表的总体规模可以达到PB以上级别，而且这些表的规模都会与日增长，所以很显然需要使用分布式的方法，而不是使用一台机器来承载这个巨大且不断增长的Table
2010-10-16 10:33:00
690
转载 主题：memcached分布测试报告（一致性哈希情况下的散列函数选择）
<br /><br />一、背景资料<br /> memcached本身是集中式的缓存系统，要搞多节点分布，只能通过客户端实现。memcached的分布算法一般有两种选择：<br />1、根据hash(key)的结果，模连接数的余数决定存储到哪个节点，也就是hash(key)% sessions.size()，这个算法简单快速，表现良好。然而这个算法有个缺点，就是在memcached节点增加或者删除的时候，原有的缓存数据将大规模失效，命中率大受影响，如果节点数多，缓存数据多，重建缓存的代价太高
2010-10-13 16:15:00
447
转载 主题：Ketama一致性Hash算法(含Java代码)
<br />一致性哈希算法(Consistent Hashing Algorithm)是一种分布式算法，常用于负载均衡。Memcached client也选择这种算法，解决将key-value均匀分配到众多Memcached server上的问题。它可以取代传统的取模操作，解决了取模操作无法应对增删Memcached Server的问题(增删server会导致同一个key,在get操作时分配不到数据真正存储的server，命中率会急剧下降)，详细的介绍在这篇帖子中http://www.javaeye.com
2010-10-13 16:15:00
510
转载 C#实战：一致性Hash算法(KetamaHash)
<br /><br />最近在研究”一致性HASH算法”(Consistent Hashing)，用于解决memcached集群中当服务器出现增减变动时对散列值的影响。后来 在JAVAEYE上的一篇文章中，找到了其中的 KetamaHash 算法的JAVA实现(一种基于虚拟结点的HASH算法)，于是为了加深理解，对照 JAVA版本，用C#重写了一个。放到这里，如果大家感兴趣的话， 可以下载测试一下，如果发现写法有问题请及时告之我，以便我及时修正。<br /> 下面是对Ketama的介绍：Ketam
2010-10-13 16:12:00
366
转载 对等网络(P2P)中主流分布式哈希算法比较分析（转）
<br /><br />本文首先从P2P的定义出发，介绍了结构化P2P与非结构化P2P的区别以及结构化P2P的核心技术DHT。而后，本文深入介绍了几种主流的DHT算法与协议并对每种协议进行了讨论。文章的最后展望了DHT在未来的发展趋势。<br />对等网络(Peer-to-Peer，简称P2P)是目前非常热门的应用，自1999年以来，P2P的研究一直是国外知名学府(如美国麻省理工学院，加州大学伯克利分校和莱斯大学等)以及知名企业的研发机构(如微软，诺基亚的研究院)关注的重点。它甚至被美国《财富》杂志称为改变
2010-10-13 10:15:00
329
转载 Keyspace：高可靠的 Key-Value 存储系统
<br /><br />Keyspace 是一家叫做 Scalien 的创业公司开发的高可靠 key-value 存储系统。比起 Redis、Tokyo Tyrant 等系统来说，Keyspace 还非常新，才上线几个月。有一篇 white paper 详细介绍了 Keyspace 的设计和架构。Keyspace 强调的技术点是高可靠性，有以下一些特点：Key-value store：一个 key-value 数据存储系统，只支持一些基本操作，如：SET(key, value) 和 GET(key)
2010-10-11 22:04:00
387
转载 Paxos 算法(转）
<br /><br />Paxos 是分布式计算里非常重要的一个算法，最初由 Leslie Lamport 在1990年发表，题为：The Part-time Parliament，这是一篇很有趣的论文，Lamport 在这篇论文里面把人物（分布式计算领域内的重要科学家）的英文名字用希腊文代替，并且整篇论文站在人类学家的立场、古文明、议会的角度来写导致人们很难理解这是一篇计算机学术论文，所以论文一直没能被发表，更糟的是，没人能真正理解其中的算法。就这样直到1998年，一个 ACM 的编辑从一堆旧
2010-10-11 21:05:00
445
转载 MapReduce: 一个巨大的倒退 （转）
前言databasecolumn 的数据库大牛们（其中包括PostgreSQL的最初伯克利领导：Michael Stonebraker）最近写了一篇评论当前如日中天的MapReduce 技术的文章，引发剧烈的讨论。我抽空在这儿翻译一些，一起学习。 译者注：这种 Tanenbaum vs. Linus 式的讨论自然会导致非常热烈的争辩。但是老实说，从 Tanenbaum vs. Linus 的辩论历史发展来看，Linux是越来越多地学习并以不同方式应用了 Tanenbaum 等 OS 研究者的经验
2010-10-11 08:49:00
974
转载 Dynamo 简介（转）
<br /><br />（转载自http://rdc.taobao.com/blog/cs/?p=52 淘宝核心系统团队博客）<br /> <br />这个小文打算写成入门级的介绍，所以很多语言不追求准确性。本介绍参考 Amazon 的 Dynamo 论文。需要更详细更准确信息的同学请直接阅读原文。(原文地址http://s3.amazonaws.com/AllThingsDistributed/sosp/amazon-dynamo-sosp2007.pdf) 这篇论文本身没提出什么新的思想，正如论
2010-10-09 15:34:00
666
转载 一致性 hash 算法（ consistent hashing ）
<br /><br />张亮<br />consistent hashing 算法早在 1997 年就在论文 Consistent hashing and random trees 中被提出，目前在 cache 系统中应用越来越广泛；1 基本场景<br />比如你有 N 个 cache 服务器（后面简称 cache ），那么如何将一个对象 object 映射到 N 个 cache 上呢，你很可能会采用类似下面的通用方法计算 object 的 hash 值，然后均匀的映射到到 N 个 cache ；<br /
2010-10-09 15:18:00
258
原创 Choosing a non-relational database; why we migrated from MySQL to MongoDB (转载)
<br /><br />Update 28 Feb 2010: A followup was published here.<br />Until recently, our server monitoring application, Server Density, was running using MySQL for the backend. Although we primarily provide it as a hosted service, it has been written
2010-10-08 15:45:00
483
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人