分布式架构
文章平均质量分 85
高可用,高并发,分布式,CAP实践
luck_man911
每个人首先都应该有自己的方向
展开
-
京东把 Elasticsearch 用得真牛逼!日均5亿订单查询完美解决!
京东到家订单中心系统业务中,无论是外部商家的订单生产,或是内部上下游系统的依赖,订单查询的调用量都非常大,造成了订单数据读多写少的情况。我们把订单数据存储在MySQL中,但显然只通过DB来支撑大量的查询是不可取的。同时对于一些复杂的查询,MySQL支持得不够友好,所以订单中心系统使用了Elasticsearch来承载订单查询的主要压力。Elasticsearch作为一款功能强大的分布式搜索引擎,支持近实时的存储、搜索数据,在京东到家订单系统中发挥着巨大作用,目前订单中心ES集群存储数据量达到10亿个文转载 2021-06-28 14:26:43 · 456 阅读 · 0 评论 -
腾讯课堂后台扩容和性能优化实战
项目背景大年初一,吃着火锅唱着歌,突然收到重庆十一中的求助信:受疫情影响,年后学校无法开学,高三老师学生都很担心影响到高考,问腾讯课堂能否提供线上平台给高三复课,拉开了整个停课不停学专项的序幕。极速版的诞生由于课堂是面向线上培训机构的,这次想把十一中这样的传统线下校园,搬到腾讯课堂内上课才发现困难重重: 入驻:学校各类资质和机构完全不一样,审核周期长 发课:机构发课有很多规范约束,而学校用课程表排课,一个个发课成本高 直播:学校老师转线上上课,普遍说直播工具有上手成本转载 2020-05-08 18:20:32 · 1707 阅读 · 0 评论 -
SET化消息中间件架构实现
SET化架构设计方案:基于集群图中有两个集群,如果需要实现数据同步,那么通过Federation将集群一的node3和集群二的node1实现数据同步即可,在集群内可以通过镜像队列进行数据同步。实现:通过Federation插件进行数据同步1、准备好环境:虚拟机+centos7安装好rabbitmq2个节点:192.168.2.208、192.16...转载 2020-05-08 12:50:16 · 823 阅读 · 0 评论 -
SET化架构设计
互联网大厂单元化架构设计衍变之路随着业务的多元化发展,拿滴滴,美团等大厂来说,如滴滴打车,外卖,酒店,旅行等持续高速增长,单个大型分布式的集群,通过机器+集群内部拆分,虽然具备了一定的可扩展性。但随着业务量的进一步增长,整个集群规模主键变得巨大,从而会在某个点达到瓶颈,无法满足扩展性需要,并且大集群内核心服务出现了问题,会影响全网用户以滴滴打车、美团外卖举例:打车业务量巨大,尤其是早晚高...转载 2020-05-08 12:03:42 · 1773 阅读 · 0 评论 -
作为日千万订单级别的业务,美团外卖的后端服务是怎么支撑的
写在前面2018年4月,中国外卖市场迎来巨变,外卖从无人问津开始,到现在已经培育成互联网巨头必争之地。作为为数不多能够达到日千万订单级别的业务,其后端服务是怎么支撑的?InfoQ采访了ArchSummit出品人、美团点评技术总监方建平,请他回顾及展望美团外卖的后端架构史,本文根据采访整理而成。美团外卖后端架构迭代各阶段美团外卖发展到今天差不多有 4 年多的时间,按照外卖业务发展的几个特...转载 2020-05-08 14:42:25 · 1377 阅读 · 0 评论 -
阿里技术参考图册-研发篇
下载地址,请搜索原创 2020-05-08 10:00:19 · 220 阅读 · 0 评论 -
CAP、BASE、ACID基本概念
1、事务的ACID原子性(Atomicity):指的是操作,事务是一个不可分割的工作单位,事务中的操作要么都发生,要么都不发生。 一致性(Consistency):指的是状态,系统或者数据库从一种正确的状态到达另一种正确的状态。比如A、B账户有100块,A向B转20,成功后,他们账户总额应该还是100块。 隔离性(Isolation):多个事务同时执行时,各事务内的数据只对内部修改可见,事...原创 2020-05-05 09:56:53 · 393 阅读 · 0 评论 -
探索淘宝订单号生成方案
1、方案说明1.1、本方案没有使用时间戳,因为加入时间戳后长度会比较长。时间戳的方案可以参考百度和美团的。1.2、本方案只利用分段自增的特性,在虚拟机中自增,不依赖redis,mysql等中间件的自增属性。2、实现方案2.1架构图2.2 流程说明代码中需要配置变量bit_type。集群服务启动后,通过mysql的悲观锁(for update)各个服务先...原创 2020-05-01 22:17:15 · 4541 阅读 · 0 评论 -
Spring Boot 整合 Netty和Protobuf
前言本篇文章主要介绍的是SpringBoot整合Netty以及使用Protobuf进行数据传输的相关内容。Protobuf会简单的介绍下用法。介绍protocol buffer(以下简称PB)是google 的一种数据交换的格式,它独立于语言,独立于平台。google 提供了多种语言的实现:java、c#、c++、go 和python,每一种实现都包含了相应语言的编译器以及库文件。...转载 2020-04-28 11:25:57 · 1025 阅读 · 0 评论 -
异地多活设计辣么难?其实是你想多了!
1.引言有幸参与了阿里游戏的一个高可用方案的设计,并且在网上发表了方案(面向业务的立体化高可用架构设计),后来参加GOPS全球运维大会深圳站,与众多行业高手交流,发现大家对“异地多活”这个方案设计非常感兴趣,毕竟“异地多活”的方案价值非常大,尤其是互联网行业,规模稍微大一点几乎都必须是标配;但同时大家都觉得“异地多活”的方案设计又很难,网络、数据、事务等各种问题混杂在一起,很多问题看似是无法...转载 2020-04-20 01:16:05 · 456 阅读 · 0 评论 -
饿了么异地双活数据库实战
一、多活的难点我们先来看一下多活的第一个难点:要考虑做多活到底是同城的多活还是异地的多活。跨地域网络延时是现阶段很难突破的点,因为饿了么面临的是异地的多活,所以我们需要基于延时这个前提来考虑方案。从北京到上海中间有30毫秒的延迟,这个会带来什么问题?我们接下来会讲。上图是同城和异地多活不同的点,复杂性和可拓展性对架构的影响方面会有很大的不同。我们挑几个点讲一下:...转载 2020-04-20 00:43:50 · 527 阅读 · 0 评论 -
分布式事务之TCC服务设计和实现注意事项!
来源:云栖社区 |作者:绍辉 | 原文地址见文末一、TCC简介TCC是一种比较成熟的分布式事务解决方案,可用于解决跨库操作的数据一致性问题;TCC是服务化的两阶段编程模型,其Try、Confirm、Cancel 3个方法均由业务编码实现;其中Try操作作为一阶段,负责资源的检查和预留,Confirm操作作为二阶段提交操作,执行真正的业务,Cancel是预留资源的取消;...转载 2020-03-02 22:40:20 · 451 阅读 · 0 评论 -
细聊分布式ID生成方法-2
业内方案简介1. UUID方案优点:能够保证独立性,程序可以在不同的数据库间迁移,效果不受影响。保证生成的ID不仅是表独立的,而且是库独立的,这点在你想切分数据库的时候尤为重要。缺点:1. 性能为题:UUID太长,通常以36长度的字符串表示,对MySQL索引不利:如果作为数据库主键,在InnoDB引擎下,UUID的无序性可能会引起数据位置频繁变动,严重影响性能2. UUID无业务含义:很多需要ID...转载 2018-06-25 10:46:43 · 173 阅读 · 0 评论 -
细聊分布式ID生成方法-1
一、需求缘起几乎所有的业务系统,都有生成一个记录标识的需求,例如:(1)消息标识:message-id(2)订单标识:order-id(3)帖子标识:tiezi-id这个记录标识往往就是数据库中的唯一主键,数据库上会建立聚集索引(cluster index),即在物理存储上以这个字段排序。这个记录标识上的查询,往往又有分页或者排序的业务需求,例如:(1)拉取最新的一页消息:selectmessag...转载 2018-06-25 10:43:16 · 124 阅读 · 0 评论 -
zookeeper集群为什么是单数
https://www.cnblogs.com/LeeScofiled/p/7390937.html在zookeeper集群中,会有三种角色,leader、 follower、 observer分别对应着总统、议员、观察者。半数以上投票通过:可以这样理解。客户端的增删改操作无论访问到了哪台zookeeper服务器,最终都会被转发给leader服务器,再由leader服务器分给zookeeper集群...转载 2018-06-20 12:36:21 · 466 阅读 · 0 评论 -
Zookeeper的Leader选举-选举过程介绍比较清晰
http://www.cnblogs.com/leesf456/p/6107600.html一、前言 前面学习了Zookeeper服务端的相关细节,其中对于集群启动而言,很重要的一部分就是Leader选举,接着就开始深入学习Leader选举。...转载 2018-06-20 12:34:52 · 151 阅读 · 0 评论 -
高并发热点/单点数据_性能问题解决方案
https://blog.csdn.net/sjyttkl/article/details/75208412 数据的热点单点问题由于其独有的高访问特性,在性能上一直都一大难题,IT界的大牛们也一直在寻求一种更为优化的解决方案!其中也不乏很多优秀的解决方案,但随着业务的不断攀升和互联网的高速发展,也就显得捉襟见肘,可见对此探索的重要性! 最近项目中也遇到了此瓶颈,请容我将前因后果以及我自己...转载 2018-06-20 16:04:00 · 529 阅读 · 0 评论 -
java 中webservice
当前,WebService是一个热门话题。但是,WebService究竟是什么?什么情况下应该用WebService?什么情况下不应该用WebService?是需要我们正确认识的。 Web Service 是一种新的web应用程序分支,他们是自包含、自描述、模块化的应用,可以发布、定位、通过web调用。Web Service可以执行从简单的请求到复杂商务处理的任何功能。一旦部署以后,其他Web...原创 2012-08-10 00:26:30 · 83 阅读 · 0 评论 -
分布式
原创 2014-04-01 22:58:37 · 95 阅读 · 0 评论 -
soa的应用
原创 2014-04-01 22:56:02 · 90 阅读 · 0 评论 -
session和cookie
原创 2014-04-01 22:54:45 · 213 阅读 · 0 评论 -
集群中几种session同步解决方案的比较
原创 2014-04-01 22:54:19 · 97 阅读 · 0 评论 -
大型网站架构演化发展历程
原创 2014-04-01 22:26:59 · 130 阅读 · 0 评论