分布式系统
xytdatabase
这个作者很懒,什么都没留下…
展开
-
分布式存储(转)
一.分布式缓存的实现为了简化用户端的使用,提供了一个分布式缓存系统来提供对此分布式存储系统的访问接口以及本地数据缓冲以降低网络压力。分布式缓存使用自行开发的带流控的组播UDP消息传递系统做底层的数据传送。包括Sever和Client两个组件,Cache_Server运行在FS(文件服务器)主机上,Cache_Client运行在提供用户访问接口的UA(用户代理)主机或其它需要数据服务...2010-03-16 16:37:05 · 96 阅读 · 0 评论 -
Quartz源码分析
Quartz是运用最广的任务调度框架,它最核心的组成部分是Scheduler、Trigger、JobDetail,然后给Scheduler配置个线程QuartzSchedulerThread,此线程在Scheduler初始化时启动,等待Scheduler start,然后从JobStore里拿到最近要触发的Trigger,以线程等待的方式等到trigger触发时间点,之后就是执行trigger所关...2010-03-29 14:10:16 · 84 阅读 · 0 评论 -
lustre文件架构 dht
lustre文件架构 dht ib总线2010-03-29 15:03:12 · 154 阅读 · 0 评论 -
gearman 分布式图片转化处理框架
gearman 分布式图片转化处理框架2010-03-29 15:07:11 · 59 阅读 · 0 评论 -
揭开j2ee集群面纱
揭开j2ee集群面纱2010-03-29 15:09:42 · 73 阅读 · 0 评论 -
lustre 基于对象存储的分布式实现
lustre 基于对象存储的分布式实现2010-03-29 15:20:07 · 353 阅读 · 0 评论 -
gearman 源码分析
gearman 源码分析2010-03-29 15:23:13 · 127 阅读 · 0 评论 -
基于MySQL的数据库集群系统的实现
您的WebApp系统是否正在使用一个MySQL的数据库系统?您的客户是不是总是抱怨页面结果反馈的非常慢?您的MySQL系统的负载是不是总是维持在一个非常高的状态下?本文将为您提供一个分担MySQL系统的负载的方法,以及由此派生出来的一个MySQL-HA-Proxy的开发项目。使用本文提供的方法,您将以最小的源代码改动,获得MySQL系统的高效运转。 第一节 数据库集群技术的现状 ...2010-03-29 15:27:27 · 115 阅读 · 0 评论 -
fuse调用流程分析
fuse处理请求的整个流程如下图所示,以unlink操作为例进行说明。其中“>”表示调用,”op) ->receive(ch, buf, size); else return ch->op.receive(chp, buf, size); //由下面的一段代码可以发现,receive最终是通过fuse_kern...2010-03-29 15:30:43 · 372 阅读 · 0 评论 -
Linux网络文件系统
Linux网络文件系统(NFS)分析1. 网络文件系统概述 41.1 远程文件存取 41.2 网络文件系统概述 41.3 网络文件系统上层实现 51.3.1 Mount安装协议和NFS远程过程 51.3.2 访问文件的具体流程 51.4 网络文件系统下层实现——远程过程调用(RPC) 61.4.1 RPC的概念模型 71.4.2 SUN RPC的定义 7...2010-03-30 13:25:30 · 384 阅读 · 0 评论 -
Terracotta/Quartz集成带来了基于内存集群的分布式任务调度功能
Terracotta/Quartz集成带来了基于内存集群的分布式任务调度功能2010-03-18 13:21:52 · 75 阅读 · 0 评论 -
Lustre File System (转)
Lustre File System历史Lustre是HP,Intel,Cluster File System公司联合美国能源部开发的Linux集群并行文件系统。它来源于卡耐基梅隆大学的NASD项目研究工作。Lustre文件系统2003年推出了1.0版,目前已经推出了1.4.7的发布版本。Lustre在美国能源部(U.S.Department of Energy:DOE)、Lawren...2010-03-16 17:03:11 · 270 阅读 · 0 评论 -
分布式调度 gearman(转)
学学Gearman2009年07月11日 星期六 下午 04:13作者:老王通常,多语言多系统之间的集成是个大问题,一般来说,人们多半会采用WebService的方式来处理此类集成问题,但不管采用何种风格的WebService,如RPC风格,或者REST风格,其本身都有一定的复杂性。相比之下,Gearman也能实现类似的作用,而且更简单易用。一个Gearman请求的处理过程涉及三个...2010-03-16 16:38:52 · 122 阅读 · 0 评论 -
分布式调度框架 quartz
分布式调度框架 quartz2010-03-16 16:39:23 · 94 阅读 · 0 评论 -
分布式锁资料
分布式锁服务2010-03-16 16:44:01 · 44 阅读 · 0 评论 -
分布式文件系统 gluster
分布式文件系统 gluster2010-03-16 16:44:41 · 57 阅读 · 0 评论 -
gluster分析(转)
引言GlusterFS是一个高层次的分布式文件系统解决方案。通过增加一个逻辑层,对上层使用者掩盖了下面的实现,使用者不用了解也不需知道,文件的存储形式、分布。内部实现是整合了许多存储块(server)通过Infiniband RDMA 或者Tcp/Ip方式互联的一个并行的网络文件系统,这样的许多存储块可以通过许多廉价的x86 主机,通过网络搭建起来。其相对于传统NAS 、SAN...2010-03-16 16:45:51 · 184 阅读 · 0 评论 -
分布式文件系统 linux lustre
Lustre名字是由Linux和Clusters演化而来,是为解决海量存储问题而设计的全新文件系统。是下一代的集群文件系统,可支持10,000个节点,PB的存储量,100GB/S的传输速度,完美的安全性和可管理性。 目前Lustre已经运用在一些领域,例如HP SFS产品等。 集群存储简介: 在集群里,一组独立的节点或主机可以象一个系统一样步调一致地工作。整个集群...2010-03-16 16:48:53 · 231 阅读 · 0 评论 -
Lustre系统的体系结构
Lustre的主要组件有三个:先进的集群文件系统,基于对象的存储设备和可堆叠的对象驱动模型。1.1 先进的集群文件系统 OBDFS是一个基于对象的文件系统,目前能很好的运行于单一的安装了对象存储设备的系统上。OBDFS能很好地扩展成集群文件系统,从而多个节点共享一个对象存储设备。传统的群集文件系统共享块存储设备。 Lustre文件系统具有很好的特性。允许扩展到10000...2010-03-16 16:51:14 · 312 阅读 · 0 评论 -
HDFS是一个不错的分布式文件系统
HDFS是一个不错的分布式文件系统,它有很多的优点,但也存在有一些缺点。目前而言,它在以下几个方面就效率不佳: 低延时访问 HDFS不太适合于那些要求低延时(数十毫秒)访问的应用程序,因为HDFS是设计用于大吞吐量数据的,这是以一定延时为代价的。HDFS是单Master的,所有的对文件的请求都要经过它,当请求多时,肯定会有延时。当前,对于那些有低延时要求的应用程序,HBase是一个更好...2010-03-16 16:55:27 · 119 阅读 · 0 评论 -
Hadoop的几个明显缺点
Hadoop的几个明显缺点如下:1. 采用Java实现。Java的IO处理虽然没有性能瓶颈,但是对于CPU密集型的任务是一个噩耗。这点可以通过对比HBase和Hypertable两个开源的Bigtable实现来做初步的验证。2. 开源项目。开源本身是一柄双刃剑,它方便了大多数人,但是对于一个有一定规模的公司,项目发展方向的把握,技术保密,技术支持等都是采用Hadoop这种开源项目必须考虑的...2010-03-16 16:56:13 · 937 阅读 · 0 评论 -
fuse-2.7.3.tar.gz开源代码学习心得
fuse-2.7.3.tar.gz开源代码学习心得:------------------------------------------------------------------------------------------------------------一,相关的理论知识准备 1,Linux Vfs的基本概念及相关知识,比较重要的如Linux文件系统的Vfs结构、Supp...2010-03-30 14:06:58 · 522 阅读 · 0 评论