大型分布式系统设计
文章平均质量分 90
陈纪建
关注行业动态,找出最适合自己的发展道路
展开
-
大型分布式网站架构技术总结
大型分布式网站架构技术总结 本文是学习大型分布式网站架构的技术总结。对架构一个高性能,高可用,可伸缩,可扩展的分布式网站进行了概要性描述,并给出一个架构参考。一部分为读书笔记,一部分是个人经验总结。对大型分布式网站架构有很好的参考价值。 本次分享大纲如下大型网站的特点大型网站架构目标大型网站架构模式高性能架构高可用架构可伸缩架构可扩展架构安全架构敏捷架构大型架构举例转载 2017-03-10 13:49:49 · 225 阅读 · 0 评论 -
大型分布式C++框架《三:序列化与反序列化》
大型分布式C++框架《三:序列化与反序列化》一、前言 个人感觉序列化简单来说就是按一定规则组包。反序列化就是按组包时的规则来接包。正常来说。序列化不会很难。不会很复杂。因为过于复杂的序列化协议会导致较长的解析时间,这可能会使得序列化和反序列化阶段成为整个系统的瓶颈。就像压缩文件、解压文件,会占用大量cpu时间。 所以正常的序列化会在时间和空间上考转载 2017-03-10 14:05:08 · 272 阅读 · 0 评论 -
大型分布式C++框架《二:大包处理过程》
大型分布式C++框架《二:大包处理过程》 本来这一篇是打算写包头在分布式平台中的具体变换过程的。其实文章已经写好了。但是想了这个应该是不能随便发表的。毕竟如果知道了一个包的具体每个字节的意义。能伪造包来攻击系统。其次来介绍一个包的具体变换过程意义不大。在每个分布式系统的里。包的扭转应该是个有不同。我们着重的应该是一种思想。一种共性。而不是个体的具体实现。 这里打算转载 2017-03-10 14:04:24 · 324 阅读 · 0 评论 -
大型分布式C++框架《一:框架简介》
大型分布式C++框架《一:框架简介》 首先名字要取得霸气才能吸引人气,哈哈~~ 下面简单介绍下情况。框架是腾讯电商平台的分布式框架。虽然腾讯拍拍已经玩完了。但是这套框架还是很不错的。而且据原腾讯同事说微信也是用的这套框架。源码肯定是不能说的。但是介绍大体的思想我想应该没问题。虽然在这个框架下写了一年多的业务代码。但是平台框架的代码一直没怎么看。最近有开始看平台代码虽然没转载 2017-03-10 14:03:19 · 1673 阅读 · 0 评论 -
大型网站架构系列:缓存在分布式系统中的应用(三)
大型网站架构系列:缓存在分布式系统中的应用(三)本文是《缓存在分布式系统中的应用》第三篇文章。上次主要给大家分享了,缓存在分布式系统中的应用,主要从不同的场景,介绍了CDN,反向代理,分布式缓存,本地缓存的常规架构和基本原理。因为时间关于,原计划分享《缓存常见问题》的内容,没有讲。本次主要针对缓存的常见个问题,做一个介绍。主要有以下议题:一、分享大纲分享大纲数据一致转载 2017-03-10 13:58:26 · 247 阅读 · 0 评论 -
大型网站架构系列:缓存在分布式系统中的应用(二)
大型网站架构系列:缓存在分布式系统中的应用(二)缓存是分布式系统中的重要组件,主要解决高并发,大数据场景下,热点数据访问的性能问题。提供高性能的数据快速访问。本文是缓存在分布式应用第二篇文章,介绍分布式缓存,Memcache,Redis,本地缓存(硬盘缓存,内存缓存)以及缓存在分布式系统中的架构示例。本文主要是自己的学习总结和网络文章摘录,供学习之用。本次分享大纲缓存概转载 2017-03-10 13:57:41 · 163 阅读 · 0 评论 -
大型网站架构系列:缓存在分布式系统中的应用(一)
大型网站架构系列:缓存在分布式系统中的应用(一)缓存是分布式系统中的重要组件,主要解决高并发,大数据场景下,热点数据访问的性能问题。提供高性能的数据快速访问。本文是缓存在分布式应用第一篇文章,介绍缓存的原理,缓存的分类,缓存的设计,CDN缓存(原理,架构参考和技术实践),反向代理缓存(原理,Squid架构实践和常用代理缓存之间的比较)。本文主要是自己的学习总结和网络文章摘录,供学习转载 2017-03-10 13:57:00 · 184 阅读 · 0 评论 -
大型网站架构系列:消息队列(二)
大型网站架构系列:消息队列(二)本文是大型网站架构系列:消息队列(二),主要分享JMS消息服务,常用消息中间件(Active MQ,Rabbit MQ,Zero MQ,Kafka)。【第二篇的内容大部分为网络资源的整理和汇总,供大家学习总结使用,最后有文章来源】本次分享大纲消息队列概述(见第一篇:大型网站架构系列:分布式消息队列(一))消息队列应用场景(见第一篇:大型网站架转载 2017-03-10 13:56:25 · 174 阅读 · 0 评论 -
大型网站架构系列:分布式消息队列(一)
大型网站架构系列:分布式消息队列(一)以下是消息队列以下的大纲,本文主要介绍消息队列概述,消息队列应用场景和消息中间件示例(电商,日志系统)。本次分享大纲消息队列概述消息队列应用场景消息中间件示例JMS消息服务(见第二篇:大型网站架构系列:分布式消息队列(二))常用消息队列(见第二篇:大型网站架构系列:分布式消息队列(二))参考(推荐)资料(见第二篇:大型网站架构系列:分布转载 2017-03-10 13:55:42 · 171 阅读 · 0 评论 -
大型网站架构系列:20本技术书籍推荐
大型网站架构系列:20本技术书籍推荐学习是技术人员成长的基础,本次分享20本技术方面的书籍,这些书不是每一本都是经典,但是每一本都有其特点。以下20本大部分本人都看过,因此推荐给大家。(本次推荐的20本只是一个参考,比如像Head First,Java编程思想等经典书籍是大家都知道,因此不在推荐之列)本次分享大纲大型网站架构系列分布式系统系列BAT技术文学系列架构设计系列本转载 2017-03-10 13:54:56 · 164 阅读 · 0 评论 -
大型网站架构系列:负载均衡详解(4)
大型网站架构系列:负载均衡详解(4)本文是负载均衡详解的第四篇,主要介绍了LVS的三种请求转发模式和八种负载均衡算法,以及Haproxy的特点和负载均衡算法。具体参考文章,详见最后的链接。 三、LVS负载均衡LVS是一个开源的软件,由毕业于国防科技大学的章文嵩博士于1998年5月创立,用来实现Linux平台下的简单负载均衡。LVS是Linux Virtual Server的转载 2017-03-10 13:54:22 · 195 阅读 · 0 评论 -
大型网站架构系列:负载均衡详解(3)
大型网站架构系列:负载均衡详解(3)本次分享大纲软件负载均衡概述Ngnix负载均衡Lvs负载均衡Haproxy负载均衡本次分享总结一、软件负载均衡概述硬件负载均衡性能优越,功能全面,但是价格昂贵,一般适合初期或者土豪级公司长期使用。因此软件负载均衡在互联网领域大量使用。常用的软件负载均衡软件有Nginx,Lvs,HaProxy等。本文参考大量文档,部分为直接拷贝,参考出转载 2017-03-10 13:53:42 · 202 阅读 · 0 评论 -
大型网站架构系列:负载均衡详解(2)
大型网站架构系列:负载均衡详解(2)本文是负载均衡详解的第一篇文章,介绍负载均衡算法, 硬件负载均衡。部分内容摘自读书笔记。三、负载均衡算法常用的负载均衡算法有,轮询,随机,最少链接,源地址散列,加权等方式;3.1 轮询将所有请求,依次分发到每台服务器上,适合服务器硬件同相同的场景。优点:服务器请求数目相同;缺点:服务器压力不一样,不适合服务器配置不同的情况转载 2017-03-10 13:52:59 · 177 阅读 · 0 评论 -
大型网站架构系列:负载均衡详解(1)
大型网站架构系列:负载均衡详解(1)面对大量用户访问、高并发请求,海量数据,可以使用高性能的服务器、大型数据库,存储设备,高性能Web服务器,采用高效率的编程语言比如(Go,Scala)等,当单机容量达到极限时,我们需要考虑业务拆分和分布式部署,来解决大型网站访问量大,并发量高,海量数据的问题。从单机网站到分布式网站,很重要的区别是业务拆分和分布式部署,将应用拆分后,部署到不同的机转载 2017-03-10 13:52:30 · 191 阅读 · 0 评论 -
大型网站架构系列:电商网站架构案例(3)
本文章是电商网站架构案例的第三篇,主要介绍数据库集群,读写分离,分库分表,服务化,消息队列的使用,以及本电商案例的架构总结。6.5数据库集群(读写分离,分库分表)大型网站需要存储海量的数据,为达到海量数据存储,高可用,高性能一般采用冗余的方式进行系统设计。一般有两种方式读写分离和分库分表。读写分离:一般解决读比例远大于写比例的场景,可采用一主一备,一主多备或多主多备方式。本案例转载 2017-03-10 13:52:01 · 220 阅读 · 0 评论 -
大型网站架构系列:电商网站架构案例(1)
大型网站架构系列:电商网站架构案例(1)大型网站架构是一个系列文档,欢迎大家关注。本次分享主题:电商网站架构案例。从电商网站的需求,到单机架构,逐步演变为常用的,可供参考的分布式架构的原型。除具备功能需求外,还具备一定的高性能,高可用,可伸缩,可扩展等非功能质量需求(架构目标)。根据实际需要,进行改造,扩展,支持千万PV,是没问题的。本次分享大纲电商案例的原因电商网站需转载 2017-03-10 13:50:58 · 210 阅读 · 0 评论 -
大型分布式C++框架《四:netio之请求包中转站 上》
大型分布式C++框架《四:netio之请求包中转站 上》 本来一篇文章就该搞定的。结果要分上下篇了。主要是最近颈椎很不舒服。同时还在做秒杀的需求也挺忙的。 现在不能久坐。看代码的时间变少了。然后还买了两本治疗颈椎的书。在学着,不过感觉没啥用。突然心里好害怕。如果颈椎病越来越重。以后的路怎么走。 现在上下班有跑步,然后坐一个小时就起来活动活动。然后在转载 2017-03-10 14:06:07 · 372 阅读 · 0 评论