分布式
hust_keven
这个作者很懒,什么都没留下…
展开
-
Oceanbase调试:用于调试的单机集群的搭建
http://blog.csdn.net/maray/article/details/7224503涉及到多个角色/服务(Mergeserver,Updateserver,Chunkserver,Rootserver)的Oceanbase调试需要将整个集群启动起来后进行,为了方便,可以在同一台计算机上启动这些服务,只要占用的端口不同即可。下面简要记录如何在同一台计算机上启动Oceanb转载 2013-03-18 19:23:10 · 1190 阅读 · 0 评论 -
分布式缓存-Memcached
分布式缓存出于如下考虑,首先是缓存本身的水平线性扩展问题,其次是缓存大并发下的本身的性能问题,再次避免缓存的单点故障问题(多副本和副本一致性)。分布式缓存的核心技术包括首先是内存本身的管理问题,包括了内存的分配,管理和回收机制。其次是分布式管理和分布式算法,其次是缓存键值管理和路由。原文:http://wenku.baidu.com/view/8686d46c7e21af45b307a8c转载 2013-05-08 21:47:30 · 978 阅读 · 0 评论 -
Linux 上的常用文件传输方式介绍与比较
Linux 上的常用文件传输方式介绍与比较李 梅雯 (limeiw@cn.ibm.com), 软件工程师, IBM 孙 敏 (sunmin@cn.ibm.com), 软件工程师, IBM郭 聪宾 (guocb@cn.ibm.com), 软件工程师, IBM 简介: Linux 环境中有多种方式可以实现不同主机之间的文件传输或同步。在不转载 2013-05-05 10:46:19 · 750 阅读 · 0 评论 -
Ketama一致性Hash算法(含Java代码)
数据结构一致性哈希算法(Consistent Hashing Algorithm)是一种分布式算法,常用于负载均衡。Memcached client也选择这种算法,解决将key-value均匀分配到众多Memcached server上的问题。它可以取代传统的取模操作,解决了取模操作无法应对增删Memcached Server的问题(增删server会导致同一个key,在get操作时分配不转载 2013-04-20 18:39:27 · 682 阅读 · 0 评论 -
海量数据面试题整理
出处:http://www.cnblogs.com/youwang/archive/2010/07/20/1781431.html海量数据面试题整理1. 给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url?方案1:可以估计每个文件安的大小为50G×64=320G,远远大于内存限制的4G。所以不可能将其完全加载到内存中转载 2013-04-24 15:49:05 · 658 阅读 · 0 评论 -
什么是对象存储?OSD架构及原理
什么是对象存储?OSD架构及原理导读:什么是对象存储?本文介绍OSD对象存储概念及对象存储系统的架构组成和工作原理,以及对象存储与SAN和NAS网络存储技术的比较。什么是对象存储(OSD)?存储局域网(SAN)和网络附加存储(NAS)是我们比较熟悉的两种主流网络存储架构,而对象存储(Object-based Storage)是一种新的网络存储架构,基于对象存储技术的转载 2013-03-21 10:59:44 · 3924 阅读 · 0 评论 -
分布式存储系统
一 引言 由于数字设备的产生及快速发展(例如个人电脑、笔记本电脑、平板电脑、及智能电话等),因此新的数据不断产生,其规模越来越庞大。 根据市场研究公司IDC的一项调查显示,全球数字数据量每2年便翻一番。2011年的数据量将达到里程碑式的1.8泽字节(ZB),也就是1.8万亿G字节。IDC调查了一年中世界范围内原创或复制的数据发现:全球IT从业人数的增长并没有与服务器、数据管理及转载 2013-03-21 11:02:10 · 1852 阅读 · 0 评论 -
存储书目
所谓“行千里路,读万卷书”,读书应该算作是最好的学习方式。本人有个不好的习惯,就是不大喜欢看电子书,小论文也喜欢打印出来研读,图书就更不用说了,总是喜欢买书和藏书,尤其是经典图书。时间一久,书架上堆积满了琳琅满目的各种图书,心中突然有种莫名的满足感。闲暇之余,对杂乱无章的书架搞了一下整理工作,顺便选择了其中一部分杂凑成这个图书清单,期望给正在学习之路上的同学们提供一点参考。这个图书清单分为五个类别转载 2013-03-21 10:43:44 · 712 阅读 · 0 评论 -
OceanBase Quick Start From Sourcecode
概述OceanBase是一个高性能的分布式表格系统,提供类似BigTable的性能和扩展性,但表格中保存的是强类型的数据,比如integer, string, datetime等。 它使用C++编写,运行于64位Linux环境下。生产环境下需要使用多台机器搭建OceanBase集群以提供高可用和高性能,但是你也完全可以使用一台机器运行OceanBase。本章节讲解如何迅速搭建一个可用的最小转载 2013-03-18 18:42:58 · 1319 阅读 · 0 评论 -
Linux 文件系统剖析
Linux 文件系统剖析什么是文件系统?首先回答最常见的问题,“什么是文件系统”。文件系统是对一个存储设备上的数据和元数据进行组织的机制。由于定义如此宽 泛,支持它的代码会很有意思。正如前面提到的,有许多种文件系统和媒体。由于存在这么多类型,可以预料到 Linux 文件系统接口实现为分层的体系结构,从而将用户接口层、文件系统实现和操作存储设备的驱动程序分隔开。挂装转载 2013-05-24 20:10:01 · 925 阅读 · 0 评论