分布式/系统架构
文章平均质量分 95
Arlight
这个作者很懒,什么都没留下…
展开
-
微服务实战(六):选择微服务部署策略
【编者的话】这篇博客是用微服务建应用的第六篇,第一篇介绍了微服务架构模板,并且讨论了使用微服务的优缺点。随后的文章讨论了微服务不同方面:使用API网关,进程间通讯,服务发现和事件驱动数据管理。这篇文章,我们将讨论部署微服务的策略。本系列文章:微服务实战(一):微服务架构的优势与不足微服务实战(二):使用API Gateway微服务实战(三):深入微服务架构的进程间通信微转载 2016-08-10 17:14:00 · 378 阅读 · 0 评论 -
微服务实践(七):从单体式架构迁移到微服务架构
【编者的话】这是用微服务开发应用系列博客的第七篇也是最后一篇。第一篇中介绍了微服务架构模式,并且讨论了微服架构的优缺点;接续文章讨论了微服务架构不同方面:使用API网关,进程间通信,服务发现,事件驱动数据管理以及部署微服务。本篇,我们将探讨将应用从单体式架构迁移到微服务架构需要考虑的策略。希望读者通过本系列文章对微服务优缺点有一个比较好的理解,以及何时使用这种架构。也许微服务架转载 2016-08-10 17:16:42 · 408 阅读 · 0 评论 -
微服务的各种线程模型及其权衡
作者 Glenn Engstrand ,译者 张卫滨 发布于 2016年10月25日架构师在设计微服务架构的时候,一般会关注模式、拓扑以及粒度等问题,但是有一个最为基础的决策是线程模型。我们现在有了很多的开源工具、编程语言和技术栈,软件架构师所面临的选择要比以往更多了。这样的话,我们很容易就会迷失在语言的细节和/或不同库的差异之中,从而无法分辨什么东西才是最重要的。转载 2016-10-25 14:46:48 · 1688 阅读 · 0 评论 -
规模要素:数据平台的组成和扩展
本文由 乔永琪 翻译英文出处:ben stopford译注:本文是作者2015年在 Progscon & JAX Finance 大会上的同名主题演讲《Elements of Scale: Composing and Scaling Data Platforms》。@何_登成 的推荐语:此文很长,但长而不臭,而且配图非常Q。作者以简洁易懂的文字,将数据库设计中应该考虑的存储转载 2016-10-25 22:09:17 · 567 阅读 · 0 评论 -
5大架构:细数数据平台的组成与扩展
【译者介绍】蔡延亮,北京大学计算机硕士毕业,明略数据技术合伙人。专注于大数据解决方案的研发和实施,拥有丰富的大数据分析平台建设实施经验。熟悉商务智能(BI)系统的设计、架构和演进规划,擅长其在电信运营商的应用;在数据ETL处理、模型设计、数据备份、生命周期管理、安全管理等领域有丰富的实践经验;熟悉数据挖掘、机器学习等分析算法和工程应用;熟悉软件项目管理。导读:One转载 2016-10-25 22:50:35 · 1176 阅读 · 0 评论 -
分布式系统事务一致性解决方案
丁浪 发布于 2016年7月5日转自:http://www.infoq.com/cn/articles/solution-of-distributed-system-transaction-consistency开篇在OLTP系统领域,我们在很多业务场景下都会面临事务一致性方面的需求,例如最经典的Bob给Smith转账的案例。传统的企业开发,系统往往是以单体应用形式存在转载 2016-11-12 19:43:17 · 401 阅读 · 0 评论 -
基于容器的微服务架构剖析
基于容器的微服务架构剖析牛小七2015年7月29日发布在 最佳实践 随着容器技术的成熟和大规模实践,基于容器的微服务架构凭借其对云服务的天然适应性,以及能够快速迭代和扩展应用的特点,成为互联网创业公司的技术首选。如何更好地利用计算资源?如何更方便地维护越来越复杂的应用程序?由七牛主办的开发者最佳实践日第15期,我们邀请到专业CaaS服务提供者灵雀转载 2016-12-11 20:12:24 · 490 阅读 · 0 评论 -
微服务:真正的架构模式
微服务:真正的架构模式【编者的话】本文来自Medium,通过比较CRUD app和数据流app两种应用类型的微服务化探索来向听众介绍微服务。简介微服务的神秘和背后的知识令我着迷。微服务作为概念,它属于现代最有趣的架构之一。微服务应用广泛,涉及不同的使用场景。但也有很多地方模糊不清,难以定论。人们在讨论微服务时,我会努力理解他们的真实意图。尽管在上一次演讲中我转载 2017-01-02 10:47:22 · 2212 阅读 · 0 评论 -
分布式服务框架 Zookeeper -- 管理分布式环境中的数据
Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义,以及分析 Zookeeper 的典型的应用场景(配置文件的管理、集群管理、同步锁、Leader 选举、队列管理等),用 Java 实现它们并给出示例代码。转载 2016-12-18 20:13:34 · 271 阅读 · 0 评论 -
分布式事务的基本概念
基本概念本地事务事务由资源管理器(如DBMS)本地管理优点:严格的ACID缺点:不具备分布事务处理能力全局事务(DTP模型)TX协议:应用或应用服务器与事务管理器的接口XA协议:全局事务管理器与资源管理器的接口优点:严格的ACID缺点:效率非常低两阶段提交优点准备后,仍可提交或回滚准备时,一致性检查必须OK准备后,事务转载 2017-06-20 15:21:51 · 437 阅读 · 0 评论 -
架构腐化之谜
架构腐化之谜作者: 陈金洲 来源: ThoughtWorks洞见 原文链接 前言 新技术层出不穷。过去十年时间里,我们经历了许多激动人心的新技术,包括那些新的框架、语言、平台、编程模型等等。这些新技术极大地改善了开发人员的工作环境,缩短了产品和项目的面世时间。然而作为在软件行业第一线工作多年的从业者,我们却不得不面对一个现实,那就是当初采用新技术的乐趣随转载 2017-09-24 19:09:46 · 639 阅读 · 0 评论 -
微服务实践(五):微服务的事件驱动数据管理
【编者的话】本文是使用微服务创建应用系列的第五篇文章。第一篇文章介绍了微服务架构模式,并且讨论了使用微服务的优缺点;第二和第三篇描述了微服务架构模块间通讯的不同方面;第四篇研究了服务发现中的问题。本篇中,我们从另外一个角度研究一下微服务架构带来的分布式数据管理问题。1.1 微服务和分布式数据管理问题单体式应用一般都会有一个关系型数据库,由此带来的好处是应用可以使用 ACID转载 2016-08-10 17:12:50 · 507 阅读 · 0 评论 -
微服务实战(三):深入微服务架构的进程间通信
【编者的话】这是采用微服务架构创建自己应用系列第三篇文章。第一篇介绍了微服务架构模式,和单体式模式进行了比较,并且讨论了使用微服务架构的优缺点。第二篇描述了采用微服务架构应用客户端之间如何采用API Gateway方式进行通信。在这篇文章中,我们将讨论系统服务之间如何通信。简介在单体式应用中,各个模块之间的调用是通过编程语言级别的方法或者函数来实现的。但是一个基于微服务转载 2016-08-10 17:08:55 · 344 阅读 · 0 评论 -
分布式服务框架的4项特性
分布式服务框架的4项特性Friday, Oct 31st, 2014 by Tim在移动及云时代,尽管大部分可扩展的问题可以通过云平台解决,但是服务本身的扩展性挑战仍然存在。比如一个新的项目,用PHP或JSP实现了基本功能,部署在Apache或Tomcat等容器上,在业界这种部署在一个容器内的功能模块通常可以称为一个service。服务容器很容易通过EC2或者docker等方式转载 2016-01-06 15:45:35 · 13902 阅读 · 0 评论 -
解读分库分表中间件Sharding-JDBC
【编者按】数据库分库分表从互联网时代开启至今,一直是热门话题。在NoSQL横行的今天,关系型数据库凭借其稳定、查询灵活、兼容等特性,仍被大多数公司作为首选数据库。因此,合理采用分库分表技术应对海量数据和高并发对数据库的冲击,是各大互联网公司不可避免的问题。虽然很多公司都致力于开发自己的分库分表中间件,但截止目前,仍无完美的开源解决方案覆盖此领域。分库分表适用场景分库分表用于转载 2016-02-16 10:03:06 · 6700 阅读 · 1 评论 -
多IDC的数据分布设计
多IDC的数据分布设计(一)Tuesday, Feb 2nd, 2010 by Tim | Tags: 2PC, 3PC, consensus, paxos, Three-phase commit,Two-phase commit上个月跟某个朋友谈及多IDC数据同时读写访问的问题(tweet),当时觉得有不少解决方案,但觉得思路还不够清晰。最近看了Google App转载 2016-02-04 17:13:39 · 1670 阅读 · 0 评论 -
Pinterest的Feed架构与算法
Pinterest的Feed架构与算法Monday, Nov 30th, 2015 by TimPinterest首页的Feed消息流,最早是按照用户的关注对象的Pin(类似微博)聚合后按时间进行排序(自然序,类似朋友圈),后来版本的feed系统放弃了自然序,而是根据一定规则及算法来设计,内部称之为Smart feed,其算法及架构根据其公开资料整理如下,值得业界做信息流产品的技术转载 2016-02-04 17:32:44 · 1857 阅读 · 1 评论 -
分布式系统的CAP定理
CAP理论转自:http://blog.csdn.net/chen77716/article/details/30635543CAP理论在互联网界有着广泛的知名度,知识稍微宽泛一点的工程师都会把其作为衡量系统设计的准则。大家都非常清楚地理解了CAP:任何分布式系统在可用性、一致性、分区容错性方面,不能兼得,最多只能得其二,因此,任何分布式系统的设转载 2016-02-04 17:38:15 · 1013 阅读 · 0 评论 -
Fast Paxos 分布式算法
自从Lamport在1998年发表Paxos算法后,对Paxos的各种改进工作就从未停止,其中动作最大的莫过于2005年发表的Fast Paxos。无论何种改进,其重点依然是在消息延迟与性能、吞吐量之间作出各种权衡。为了容易地从概念上区分二者,称前者Classic Paxos,改进后的后者为Fast Paxos。1. Fast Paxos概览Lamport在40多页的论文中不仅提出了F转载 2016-02-04 18:00:20 · 955 阅读 · 1 评论 -
Paxos 分布式算法
1 - 算法形成理论Paxos算法的难理解与算法的知名度一样令人敬仰,从我个人的经历而言,难理解的原因并不是该算法高深到大家智商不够,而在于Lamport在表达该算法时过于晦涩且缺乏一个完整的应用场景。如果大师能换种思路表达该算法,大家可能会更容易接受:首先提出算法适用的场景,给出一个多数读者能理解的案例其次描述Paxos算法如何解决这个问题再次给出算法的起源(就是那些希腊城邦转载 2016-02-04 18:08:38 · 819 阅读 · 0 评论 -
中国移动浙江公司数据中心操作系统(DCOS)实践
中国移动浙江公司数据中心操作系统(DCOS)实践作者 钟储建 发布于 2015年12月15日背景中国移动浙江公司数据中心自2009年开始从小型机为主的架构开始了X86化、IaaS资源池化、PaaS资源池化的发展历程,数据中心在向云计算转型过程中软硬件管理的能力和效率上面临着诸多挑战:1) 应用的快速部署开通受到极大制约:大部分应用系统有开发、转载 2016-02-25 11:27:55 · 2748 阅读 · 0 评论 -
构建黄金组合LVS + Keepalived高可用负载均衡集群
构建黄金组合LVS + Keepalived高可用负载均衡集群2013-11-26 15:17:07标签:keepalived lvs keepalived VMware ESXi 5.5 CentOS 6.4原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://beyondhdf.blog.51cto转载 2016-02-29 21:30:57 · 1145 阅读 · 0 评论 -
微服务实战(一):微服务架构的优势与不足
【编者的话】本文来自Nginx官方博客,是微服务系列文章的第一篇,主要探讨了传统的单体式应用的不足,以及微服务架构的优势与挑战。正如作者所说,微服务架构更适合用于构建复杂的应用,尽管它也有自己的不足。这篇文章作者是Chris Richardson,他是早期基于Java的Amazonite EC2 PaaS平台CloudFoundry.com的创始人。现在他为企业提供如何开发和部转载 2016-08-10 16:31:49 · 396 阅读 · 0 评论 -
微服务实战(二):使用API Gateway
【编者的话】本系列的第一篇介绍了微服务架构模式。它讨论了采用微服务的优点和缺点,除了一些复杂的微服务,这种模式还是复杂应用的理想选择。当你决定将应用作为一组微服务时,需要决定应用客户端如何与微服务交互。在单体式程序中,通常只有一组冗余的或者负载均衡的服务提供点。在微服务架构中,每一个微服务暴露一组细粒度的服务提供点。在本篇文章中,我们来看它如何影响客户端到服务端通信,同时提出一种API转载 2016-08-10 17:06:35 · 871 阅读 · 0 评论 -
快的打车架构实践
快的打车架构实践快的打车从2013年年底到2014年下半年,系统访问量迅速膨胀,很多复杂的问题要在短时间内解决,且不能影响线上业务,这是比较大的挑战,本文将会阐述快的打车架构演变过程遇到的一些有代表性的问题和解决方案。LBS的瓶颈和方案先看看基本的系统模型,如图1所示。图1 系统模型示意图司机每隔几秒钟上报一次经纬度,存储在MongoDB里;乘客发单转载 2016-01-05 15:27:45 · 3502 阅读 · 0 评论