毕业设计——DHT分布式系统范围查询
文章平均质量分 55
wangxiaoqin00007
这个作者很懒,什么都没留下…
展开
-
Hypertable一个 C++ 的Bigtable开源实现
Hypertable 简介(Hypertable一个 C++ 的Bigtable开源实现) By云深作者:Adam/Schubert/SeymourZ 2008年8月转载请注明出处1 Introduction 随着互联网技术的发展,尤其是云计算平台的出现,分布式应用程序需要处理大量的数据(PB级)。在一个或多个云计算平台中(成千上万的计算主机),转载 2011-12-20 16:38:22 · 977 阅读 · 0 评论 -
分布式哈希和一致性哈希
分布式哈希(DHT)两个key point:每个节点只维护一部分路由;每个节点只存储一部分数据。从而实现整个网络中的寻址和存储。DHT只是一个概念,提出了这样一种网络模型。并且说明它是对分布式存储很有好处的。但具体怎么实现,并不是DHT的范畴。一致性哈希:DHT的一种实现。本质还是一个哈希算法。回想平时我们做负载均衡,按querystring签名对后端节点取模是最简单也是最常用转载 2012-03-09 17:49:37 · 711 阅读 · 0 评论 -
hypertable0.9.5.4在ubuntu上的安装
经过几番调研,我觉定将我的毕业设计架构在ubuntu11.04+ hypertable +( hadoop)上。 当然,开始就是安装就是hypertable,本以为很容易就装上了,结果印证了一句话:程序员的世界只有实践才能证明结果啊!悲剧的我安装了一周,时至今日才勉强搞定,遂把自己的血泪教训记录一番,大牛牛们也许觉得很白菜的误区根本不足讨论,但是,若是遇到像我一样的菜鸟,希望能为他避开一些误原创 2012-01-16 14:29:47 · 955 阅读 · 0 评论 -
Hypertable C++ vs Hbase Java
Hypertable C++ vs Hbase Java Hypertable和Hbase二者同源,设计也有诸多相似之处,最主要的区别当然还是编程语言的选择。Hbase选择Java主要是因为Apache和Hadoop的公共库、历史项目基本都采用该语言,并且Java项目在设计模式和文档上一般都比C++项目好,非常适合开源项目。C++的优势当然还是在性能和内存使用上。Yahoo曾经给出了转载 2012-01-09 15:46:21 · 1902 阅读 · 0 评论 -
YunTable-云时代的BigTable
原文地址: http://www.tektalk.org/2010/10/09/yuntable-%E4%BA%91%E6%97%B6%E4%BB%A3%E7%9A%84bigtable/ 本文是发表于今年第九期《程序员》上的关于YunTable综述,希望大家能喜欢。无论哪个行业,掌握核心技术的企业总能处于非常强势的地位,并获取较高的利润,在IT界更是如此,比如转载 2011-12-16 16:49:51 · 1177 阅读 · 0 评论 -
Google BigTable: 数据库实现的典范
原文地址:http://wangyuanzju.blog.163.com/blog/static/130292008516103751713/Google BigTable论文刚出来的时候匆匆读过,没什么感想,只记得是一个分布式多维映射表。今天重读一遍论文,再对照数据库里的相关技术,感觉有点意思了。一般来说,数据库的技术专家大多数时间都在研究一些具体的算法等问题,对一个数据库系统(或一个数据存转载 2011-12-16 16:08:14 · 1179 阅读 · 0 评论 -
云计算的分布式计算系统Map/Reduce
云计算之分布式计算系统 云计算属于分布式系统,众所周知,并行程序的设计、编码和调试非常挑战,在云计算分布式系统中,由于网络延时(毫秒级)远远大于单机系统内延时(微秒级)、部件的不可靠性以及节点之间较松的耦合度(低于通常的并行大型计算机)和异构性,高效并行程序的设计和实现难度更大,极大地阻碍普通程序员使用云计算系统。为了解决这个问题,Google创造性地把Map/Reduce模型成功地应用到转载 2011-12-14 17:39:54 · 938 阅读 · 0 评论 -
云计算概述
云计算介绍 许多数据信息中包含了十分重要的信息,以移动电话日志为例,某个用户在一个地点(机场)关机若干小时后在另一个地点(机场)开机表明该用户可能搭乘飞机旅行了,而连续变换基站表明该用户可能搭乘火车或汽车上旅行等等,通过分析和挖掘这些日志以,运营商可以发现用户的电话呼叫特征和规律,以探索新的业务增长机会、发现有离网倾向的用户等等。然而,庞大的数据量使得这种数据分析和挖掘越来越困难,例如中国转载 2011-12-14 17:28:52 · 920 阅读 · 0 评论 -
云计算之分布式文件系统
云计算之分布式文件系统 云计算的分布式文件系统(如Google的GFS)是整个云计算的基石,提供上层表格系统所需的可靠和高效的数据存储,假设是:l 容错与自动故障恢复是DNA整个文件系统由许多廉价计算机组成,机器故障是常事而非例外,系统需要不停地进行自我检测和监控,发现故障机器并自动恢复;l 系统存储大文件而非小文件整个文件系统存储数百万数千转载 2011-12-14 17:22:57 · 2213 阅读 · 1 评论 -
云计算分布式架构综述
云计算分布式架构综述 原文地址:http://blog.sina.com.cn/s/blog_3fc85e260100bo0p.html传统的关系数据库由底层文件系统和上层表格系统构成,类似地,云计算也包含了分布式文件系统(如Google的文件系统GFS)和分布式表格系统(如Google的Bigtable)两个部分,其中分布式文件系统实现可靠、高效的数据存储和处理,分布式表格系统在分布式文转载 2011-12-14 17:05:22 · 1816 阅读 · 0 评论 -
云计算之分布式表格系统
原文地址:http://blog.sina.com.cn/s/blog_3fc85e260100bon7.html云计算的分布式表格系统依赖于下层的分布式文件系统(如Google的GFS)提供可靠和高效的数据存储,也是分布式文件系统的主要使用者。本文以Google的Bigtable为例来介绍云计算的分布式表格的基本结构,其数据模型是:(row : string, column : stri转载 2011-12-14 16:06:09 · 1522 阅读 · 0 评论 -
云计算系统的容错和故障恢复
云计算系统的容错和故障恢复(1) 云计算属于分布式系统,许多因素导致系统异常:首先,云计算系统由成百上千的节点组成,节点的失效是常事。假如节点的平均无故障时间是3年,则一个1000节点的机群,平均每天可能有一个节点故障。从商业成本来看,使用普通和主流的计算机(CPU,内存、网络、硬盘等)比高可靠计算机的性能/价格比更高,更何况无论多么可靠的计算机也会出现故障。其次,电源、网络等其他硬件也会转载 2011-12-14 17:50:41 · 2891 阅读 · 0 评论 -
MapReduce/GFS/BigTable三大技术资料
MapReduce/GFS/BigTable三大技术资料首先是在孟岩博客中发现以下内容:Google的三大核心技术MapReduce、GFS和BigTable的论文都已经被翻译成高质量的中文;三篇论文的链接地址如下:MapReduce:http://blog.csdn.net/active1001/archive/2007/07/02/1675920.aspxGFS:转载 2011-12-21 15:50:26 · 18920 阅读 · 0 评论 -
Chord算法
虽然网上搜索CHord,一搜一大堆,但大多讲得不太清楚明白。今天发现一篇blog,图文并茂,逻辑清楚且易懂,特意转载收藏。作者:gnuhpc 出处:http://www.cnblogs.com/gnuhpc/P2P的一个常见问题是如何高效的定位节点,也就是说,一个节点怎样高效的知道在网络中的哪个节点包含它所寻找的数据,如下图:对此,有三种比较典转载 2012-03-20 17:46:30 · 19263 阅读 · 0 评论