概念及架构
文章平均质量分 72
远古大猛犸
混迹于京城的一名软件开发者
展开
-
分布式一致性hash算法简介
分布式一致性hash算法简介当你看到“分布式一致性hash算法”这个词时,第一时间可能会问,什么是分布式,什么是一致性,hash又是什么。在分析分布式一致性hash算法原理之前,我们先来了解一下这几个概念。分布式分布式(distributed)是指在多台不同的服务器中部署不同的服务模块,通过远程调用协同工作,对外提供服务。现有系统system,有modelA、modelB、modelC等服务模块。现在要以集中式(集群,cluster)和分布式的方式进行部署,下面我们来看看它们部署的示意图。转载 2020-06-14 17:01:58 · 1641 阅读 · 0 评论 -
分布式应用开发相关的面试题收集
转载:http://www.tuicool.com/articles/q2QjYb1. 生产系统每天会产生一个日志文件F,数据量在5000W行的级别。文件F保存了两列数据,一列是来源渠道,一列是来源渠道上的用户标识。文件F用来记录当日各渠道上的所有访问用户,每访问一次,记录一条。 请问如何快速计算出各渠道上新增的用户?2. 有50台前端服务器分布在各个节点上,每台前端下都分别转载 2017-06-15 16:57:40 · 10160 阅读 · 0 评论 -
一致性hash算法 java代码实现与测试
转载:http://blog.csdn.net/pcceo1/article/details/51493934写了一个一致性hash的Java实现代码,算法是用别人的,据说很好,然后自己做了一个测试,用线程池起了1000个线程,每个线程hash10000次,模拟一万次数据hash,并将测试结果上传。[java] view plain copy转载 2017-06-06 22:03:14 · 434 阅读 · 0 评论 -
从技术细节看美团架构
转载:http://www.infoq.com/cn/articles/see-meituan-architecture-from-technical-details编者按:本文是根据ArchSummit北京2015大会上美团网现任技术委员会主席夏华夏的演讲《从技术细节看美团架构》整理而成。很多人认为,电商都没有什么技术含量,电商没有什么门槛,入门的门槛并不高,电商很痛苦,需要转载 2017-06-02 17:29:43 · 1037 阅读 · 0 评论 -
大型网站架构:熔断、降级、限流
0.概要微服务架构中,服务数量增加,整体系统可用性会存在潜在问题,因此,需要一些额外的措施。具体几个方面:问题:分布式系统架构中,存在的问题 解决方法:上述问题的解决办法? 注意事项 HyStrix 框架的原理特别说明:Hystrix已经进入「维护状态」,现在 Netflix 已经启用「resilience4j」框架,作为替代方案。1.问题分布式系统,随着业务...转载 2020-03-12 14:07:55 · 543 阅读 · 0 评论 -
实践系列:分销平台的技术架构
0. 目标16年初,在美团主导建设的猫眼演出业务的分销平台,其中涉及订单交易部分,是电商业务下的典型场景。最近主导支付技术团队建设,在技术氛围建设方面,组织一些列的团队内部分享,拿这个 case 分享一下。Note:整理有一个 keynote 版本,当时一起进行系统建设的另一个师兄 & 好友小宇,现在阿里。备注:当前 blog 中说的分销平台,本质也是其他业务场景的开放平台...转载 2020-03-12 14:06:57 · 1823 阅读 · 0 评论 -
实践系列:分布式配置中心的实现方案,调研
0. 背景远端缓存 + 远端热更新:分布式的配置中心,从 MySQL 中读取最新配置; 区分环境 MySQL 读取配置信息1. 调研分析分析,拍着脑袋,猜一下,有几种方向:Spring Cloud 的配置中心,采用 MySQL 中配置,进行更新 百度的分布式配置中心 阿里的分布式配置中心 美团的分布式配置中心 其他公司的分布式配置中心1.1. 方案汇总名称 来...转载 2020-03-12 14:05:51 · 512 阅读 · 0 评论 -
实践系列:高并发的缓存实践
0.背景在沟通「商品首页」展示时,如何保证高性能、高可用,具体来说,3 个方面需要注意:本地缓存 分布式缓存 冷数据存储方案:未命中缓存的冷数据,数据库并发压力1.高并发的缓存实践具体来说,围绕下面 3 项,逐个讨论:本地缓存 分布式缓存 冷数据存储方案:未命中缓存的冷数据,数据库并发压力1.1.本地缓存本地缓存,一般采用 Guava,此时,需要考虑 2 个问题:...转载 2020-03-12 14:04:47 · 207 阅读 · 0 评论 -
大型网站架构:无损发布
大型网站架构:无损发布2015-07-061. 背景因为发布系统,导致应用可用性跌到 99.99 以下,细节参考:Nginx 上收集的系统可用性损失记录,借此机会,寻求应用无损发布的解决方案。备注:通过比对「系统发布时间」和「系统可用性降低」时 Nginx 的访问日志,2 个时间相吻合,因此,确定系统发布过程中,应用不可用,损失可用性。2. 分析之前可用性文章中,提...转载 2020-03-12 14:03:54 · 663 阅读 · 0 评论 -
大型网站架构:高可用
1. 概要目标:如何判断网站的可用性?如何提升可用性?几个问题:指标:哪些指标,可以衡量系统的可用性? 监控:如何测量这些指标?常用思路和工具? 改进:提升系统可用性,常用的措施?这些措施是如何提升可用性指标的呢?2. 指标指标:可用性指标:系统可用时间/系统运行时间 CaseStudy:针对重大的故障,要进行 case study 分析和故障评级,解决通用可用性指标无...转载 2020-03-12 13:59:29 · 332 阅读 · 1 评论 -
大型网站架构:伸缩性
整体思路: 什么是系统伸缩性?衡量指标? 如何做?常见思路?1. 伸缩性,是什么网站的可伸缩性,是指:不改变软件、硬件的设计,只通过增加机器数量,就能扩大服务能力(减少机器数量,就缩小网站服务能力)。即:不改变:软硬件设计 变更机器数量,扩大或减小服务能力。 机器数量 → QPS2. 伸缩性,为什么需要这是跟互联网的特点相匹配的:网站发展规律:渐进式,都是演进而来的,从小...转载 2020-03-12 14:02:14 · 163 阅读 · 0 评论 -
大型网站架构:高性能
1. 概要说明:此次分享,整理有独立的 keynote.目标:高性能的网站,要求响应时间短、支持高并发。几个问题:指标:衡量网站性能的指标,有哪些?牛不牛逼,不能听你瞎说,总得有个衡量标准,谁的高,谁在这方面就牛逼 监控:如何收集指标信息? 改进:不同指标的改进措施和原理?2. 指标2.1. 不同人员的指标不同人,不同视角,关注的网站高性能指标不同:用户:用户...转载 2020-03-12 13:57:58 · 128 阅读 · 0 评论 -
大型网站架构:前言
1. 概要大型网站的技术架构是什么?业务子系统拆分? 服务化拆分? …常见问题:大型网站,关于并发的处理? 大型网站,跟小的业务系统,有差异吗?有什么特殊的处理? 大型网站,完整的技术架构,核心模块都有哪些?数据?订单?账户?服务?监控?有哪些衡量维度?2. 讨论2.1 讨论形式内容来源:一方面要有自己的思路、另一方面借鉴别人的总结(xx等) 形式: 侧重典型场...转载 2020-03-12 13:54:57 · 143 阅读 · 0 评论 -
著名的C10K并发连接问题
转载:http://www.cnblogs.com/imstudy/p/5984905.html1、前言对于高性能即时通讯技术(或者说互联网编程)比较关注的开发者,对C10K问题(即单机1万个并发连接问题)应该都有所了解。“C10K”概念最早由Dan Kegel发布于其个人站点,即出自其经典的《The C10K problem (英文PDF版、中文译文)》一文。转载 2017-07-13 21:53:56 · 705 阅读 · 0 评论 -
腾讯QQ团队开源分布式后台服务引擎msec
转载:http://www.devstore.cn/essay/essayInfo/6851.html在服务器端程序开发领域,性能问题一直是备受关注的重点。业界有大量的框架、组件、类库都是以性能为卖点而广为人知。然而,服务器端程序在性能问题上应该有何种基本思路,这个却很少被这些项目的文档提及。本文正式希望介绍服务器端解决性能问题的基本策略和经典实践,并分为几个部分来说明:1.转载 2016-12-29 15:02:00 · 2313 阅读 · 0 评论 -
看看腾讯和百度等这样的大型网站系统架构是如何演化的
转载:http://www.open-open.com/lib/view/open1474447923261.html一个成熟的大型网站的系统架构并不是一开始设计时就具备完整的高性能、高可用、高伸缩等特性的,它是随着用户量的增加,业务功能的扩展逐渐演变完善的,在这个过程中,开发模式、技术架构、设计思想也发生了很大的变化,就连技术人员也从几个人发展到一个部门甚至一条产品线。所以成熟的系统转载 2016-12-29 15:04:10 · 2702 阅读 · 1 评论 -
每秒处理10万订单乐视集团支付架构
转载:http://mp.weixin.qq.com/s?__biz=MzIwMDc0MTM2MA==&mid=2247483681&idx=1&sn=c9da521a27ba218ef09240129ee10b22&mpshare=1&scene=1&srcid=0428QeAeijTAJT6Ff6YMVAGg#rd随着乐视硬件抢购的不断升级,乐视集团支付面临的请求压力百倍乃转载 2017-01-31 22:19:06 · 260 阅读 · 0 评论 -
美团酒店Node全栈开发实践
http://tech.meituan.com/node-fullstack-development-practice.html前后端分离的背景“前后端分离”显然已不是什么新鲜的话题,Zakas在2013年10月份就曾发表过一篇博客《Node.js and the new web front-end》讨论Node背景下新时代的前端。毫无疑问,Node的出现给JavaScri转载 2017-06-19 17:37:38 · 892 阅读 · 0 评论 -
分布式缓存负载均衡负载均衡的缓存处理:虚拟节点对一致性hash的改进
转载:http://www.cnblogs.com/yanghuahui/p/3755460.html采用固定哈希算法平衡负载在大规模的缓存应用中,应运而生了分布式缓存系统。key-value如何均匀的分散到集群中?最常规的方式莫过于hash取模的方式。比如集群中可用机器适量为N,那么key值为K的的数据请求很简单的应该路由到hash(K) mod N对应的机器。但是在一些高速转载 2017-06-20 17:11:26 · 490 阅读 · 0 评论 -
分布式存储系统设计(1)—— 系统架构
转载:http://www.cnblogs.com/glacierh/p/5543764.html分布式存储系统是为了解决单机存储所存在的容量、性能等瓶颈,以及可用性、扩展性等方面的问题,通过把数据分散存储在多台存储设备上,为大规模的存储应用提供大容量、高性能、高可用、扩展性好的存储服务。这一系列的文章介绍一种典型的分布式存储系统的设计和实现,该系统已经服务大量的业务,达到了数百T的存转载 2017-06-20 23:30:36 · 876 阅读 · 0 评论 -
分布式存储系统设计(2)—— 数据分片
转载:http://www.cnblogs.com/glacierh/p/5653512.html在分布式存储系统中,数据需要分散存储在多台设备上,数据分片(Sharding)就是用来确定数据在多台存储设备上分布的技术。数据分片要达到三个目的:分布均匀,即每台设备上的数据量要尽可能相近; 负载均衡,即每台设备上的请求量要尽可能相近; 扩缩容时产生的数据迁移尽转载 2017-06-20 23:31:33 · 565 阅读 · 0 评论 -
mysql高可用方案对比
转载:http://blog.csdn.net/slwang001/article/details/71080002MySQL常见高可用方案1. 概述我们在考虑mysql数据库的高可用的架构时,主要要考虑如下几方面:Ø 如果数据库发生了宕机或者意外中断等故障,能尽快恢复数据库的可用性,尽可能的减少停机时间,保证业务不会因为数据库的故障而中断。Ø转载 2017-07-01 15:51:01 · 593 阅读 · 0 评论 -
MySQL数据库的高可用方案总结
转载:http://www.jb51.net/article/83400.htm高可用架构对于互联网服务基本是标配,无论是应用服务还是数据库服务都需要做到高可用。虽然互联网服务号称7*24小时不间断服务,但多多少少有一些时候服务不可用,比如某些时候网页打不开,百度不能搜索或者无法发微博,发微信等。一般而言,衡量高可用做到什么程度可以通过一年内服务不可用时间作为参考,要做到3个9的可用性转载 2017-07-01 15:53:06 · 796 阅读 · 0 评论 -
架构师之路--视频业务介绍,离线服务架构和各种集群原理
转载:http://www.cnblogs.com/xiexj/p/7041265.html#3719145先聊聊业务。我们媒资这边目前的核心数据是乐视视频的乐视meta和专门存储电视剧,综艺节目,体育赛事这种长视频的作品库。乐视视频的数据都是多方审核的,需要很多运营。但是作品库部分却是弱运营的,运营都不超过10个人。结果做了两个app,日活都有四五百万的样子。我们其实都有各样的技术储转载 2017-06-23 00:12:37 · 567 阅读 · 0 评论 -
软件架构入门
转载:http://www.ruanyifeng.com/blog/2016/09/software-architecture.html软件架构(software architecture)就是软件的基本结构。合适的架构是软件成功的最重要因素之一。大型软件公司通常有专门的架构师职位(architect),只有资深程序员才可以担任。O'Reilly 出版过一本免费的小册子转载 2016-12-17 02:03:48 · 386 阅读 · 0 评论