分布式
文章平均质量分 70
chuanzhongdu1
这个作者很懒,什么都没留下…
展开
-
用消息队列和消息应用状态表来消除分布式事务
用消息队列和消息应用状态表来消除分布式事务转载 2011-03-02 14:42:00 · 480 阅读 · 0 评论 -
数据复制的并发控制
数据分布通常应用在高性能计算(HPC)中。数据分布拓扑主要有两种:复制和分区。 在数据复制环境中,一个数据项往往有好几个副本,但应该保证一定程度的数据一致性,好让最终用户看起来全局只有一份数据。使用数据复制最大的挑战就是根据业务需求在数据一致性和性能之间做出正确的权衡。要实现数据一致性,通常会运用一些并发控制方案。本文将解释Oracle10g高级复制、Oracle10g真正应用集...2011-07-22 15:58:00 · 125 阅读 · 0 评论 -
可伸缩性最佳实践:来自eBay的经验
在eBay,可伸缩性是我们每天奋力抵抗的一大架构压力。我们所做的每一项架构及设计决策,身前身后都能看到它的踪影。当我们面对的是全世界数以亿计的用户,每天的页面浏览量超过10亿,系统中的数据量要用皮字节(1015或250)来计算----可伸缩性是生死交关的问题。 在一个可伸缩的架构中,资源的消耗应该随负载线性(或更佳)上升,负载可由用户流量、数据量等测量。如果说性能衡量的是每一工作单元...2011-03-03 16:17:00 · 86 阅读 · 0 评论 -
用消息队列和消息应用状态表来消除分布式事务
由于数据量的巨大,大部分Web应用都需要部署很多个数据库实例。这样,有些用户操作就可能需要去修改多个数据库实例中的数据。传统的解决方法是使用分布式事务保证数据的全局一致性,经典的方法是使用两阶段提交协议。长期以来,分布式事务提供的优雅的全局ACID保证麻醉了应用开发者的心灵,很多人都不敢越雷池一步,想像没有分布式事务的世界会是怎样。如今就如MySQL和PostgreSQL这类面向低端用户...2011-03-02 14:42:00 · 77 阅读 · 0 评论 -
apache pulsar
apache pulsarapache pulsar是yahoo贡献的一个分布式消费中间件,是一个面象企业级的中间件特性支持多租户,同时支持queue及streaming应用,支持多种不同的消费策略,不同的消息保留策略,消息的应答多租户有两个名词:property,namespaceproperty相当于租户,namespace包括多个topic,一个property有多个namespace权限控...原创 2018-05-25 15:01:56 · 1410 阅读 · 0 评论 -
gearman简介及安装使用
Gearman是一个分发任务的程序框架,可以用在各种场合,与Hadoop相比,Gearman更偏向于任务分发功能。它的任务分布非常简单,简单得可以只需要用脚本即可完成。Gearman最初用于LiveJournal的图片resize功能,由于图片resize需要消耗大量计算资源,因此需要调度到后端多台服务器执行,完成任务之后返回前端再呈现到界面Gearman分布式任务实现原理上只用到2个字段,f原创 2012-02-23 13:10:45 · 955 阅读 · 0 评论 -
XA事务规范
在谈到XA规范之前,必须首先了解分布式事务处理(Distributed Transaction Processing,DTP)的概念。Transaction,即事务,又称之为交易,指一个程序或程序段,在一个或多个资源如数据库或文件上为完成某些功能的执行过程的集合。 分布式事务处理是指一个事务可能涉及多个数据库操作,分布式事务处理的关键是必须有一种方法可以知道事务在任何地方所做的所有动作,提原创 2011-11-27 10:08:51 · 528 阅读 · 0 评论 -
用 Hadoop 进行分布式并行编程, 第 2 部分
用 Hadoop 进行分布式并行编程, 第 2 部分程序实例与分析曹 羽中 (caoyuz@cn.ibm.com), 软件工程师, IBM中国开发中心 简介: Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架,借助于转载 2011-03-21 17:38:00 · 590 阅读 · 0 评论 -
用 Hadoop 进行分布式并行编程, 第 3 部分
部署到分布式环境曹 羽中 (caoyuz@cn.ibm.com), 软件工程师, IBM中国开发中心 简介: Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架,借助于 Hadoop, 程序员可以轻松地编写分布式并行程序,转载 2011-03-21 17:55:00 · 741 阅读 · 0 评论 -
用 Hadoop 进行分布式并行编程, 第 1 部分
基本概念与安装部署曹 羽中 (caoyuz@cn.ibm.com), 软件工程师, IBM中国开发中心 简介: Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架,借助于 Hadoop, 程序员可以轻松地编写分布式并行程序转载 2011-03-21 16:25:00 · 651 阅读 · 0 评论 -
详解Consistent Hashing算法
在做服务器负载均衡时候可供选择的负载均衡的算法有很多,包括: 轮循算法(Round Robin)、哈希算法(HASH)、最少连接算法(Least Connection)、响应速度算法(Response Time)、加权法(Weighted )等。其中哈希算法是最为常用的算法.转载 2011-09-27 21:30:36 · 480 阅读 · 0 评论 -
数据复制的并发控制
数据分布通常应用在高性能计算(HPC)中。数据分布拓扑主要有两种:复制和分区。 在数据复制环境中,一个数据项往往有好几个副本,但应该保证一定程度的数据一致性,好让最终用户看起来全局只有一份数据。使用数据复制最大的挑战就是根据业务需求在数据一致性和性能之间做出正确的权衡。要实现数据转载 2011-07-22 15:58:38 · 576 阅读 · 0 评论 -
MapReduce 简介
MapReduce 简介转载 2011-03-21 15:00:00 · 517 阅读 · 0 评论 -
可伸缩性最佳实践:来自eBay的经验
可伸缩性最佳实践:来自eBay的经验转载 2011-03-03 16:17:00 · 510 阅读 · 0 评论 -
XA事务规范
在谈到XA规范之前,必须首先了解分布式事务处理(Distributed Transaction Processing,DTP)的概念。Transaction,即事务,又称之为交易,指一个程序或程序段,在一个或多个资源如数据库或文件上为完成某些功能的执行过程的集合。 分布式事务处理是指一个事务可能涉及多个数据库操作,分布式事务处理的关键是必须有一种方法可以知道事务在任何地方所做的所有动作,提交或回...2011-11-27 10:08:00 · 104 阅读 · 0 评论