系统架构
文章平均质量分 79
猫头哥
创业中的猫头哥
展开
-
集群的概念
什么是集群,什么是负载均衡呢?笔者总结了一句简单的定义:集群 = 负载均衡 + 错误恢复1 术语定义服务软体是b/s或c/s结构的s部分,是为b或c提供服务的服务性软件系统。 服务硬体指提供计算服务的硬件、比如pc机、pc服务器。 服务实体通指服务软体和服务硬体。 客户端指接受服务实体服务的软件或硬件。 2 两大关键特性集群是一组协同工作的服务实体,用以提供...2011-01-09 18:22:01 · 122 阅读 · 0 评论 -
偏序关系π
偏序关系π是集合上的一种关系,具有反对称、自反和传递属性,但对于任意两个元素x,y来说,并不需要一定满足 x π y 或者 y π x。我们每天都在使用偏序关系表达喜好,例如我们可以更喜欢寿司而不是干酪三明治,可以更喜欢莫扎特而不是马勒,但我们不必在干酪三明治和莫扎特之间做出明确的喜好选择。...2014-06-18 13:42:38 · 201 阅读 · 0 评论 -
IAAS,SAAS,PAAS的理解
SaaS(Software-as-a-service,),软件即服务。SaaS的中文名称为软营或软件运营。SaaS是基于互联网提供软件服务的软件应用模式。作为一种在21世纪开始兴起的创新的软件应用模式,SaaS是软件科技发展的最新趋势。IaaS(Infrastructure as a Service),基础设施即服务。消费者通过Internet 可以从完善的计算机基础设施获得服务。...原创 2014-02-17 19:27:15 · 154 阅读 · 0 评论 -
开放平台之openAPI架构(一)异常处理
[size=xx-large]1 前言[/size][size=x-large]1.1 背景[/size] openAPI一套分布式系统,他调用了诸多关联系统并对公司外部提供统一的接口服务。openAPI的SOA架构图:[img]http://dl2.iteye.com/upload/attachment/0093/9376/9ebc4ea4-34a8-362e-bc85-a...原创 2014-02-18 12:35:46 · 1705 阅读 · 0 评论 -
日志架构(七)日志中心WWW_JAVA组件API
[size=xx-large]1.概述[/size][size=x-large]1.概述[/size] 本组件的引用,不依赖任何第三方JAR包,无入侵性。 在使用日志中心2.0的时候,首先要申请system.id(系统表示)与log.id(日志格式)。 在使用了日志中心以后,提测及上线验证,都需要写上日志负责人,做上线后的验证。 产品的功能性描述中,要体...原创 2014-02-19 19:46:20 · 208 阅读 · 0 评论 -
动态缓存技术之CSI,SSI,ESI
平时我们谈页面,大都数是以页面为单位的。[size=xx-large]一、CSI (Client Side Includes)[/size]含义:通过iframe、javascript、ajax等方式将另外一个页面的内容动态包含进来。原理:整个页面依然可以静态化为html页面,不过在需要动态的地方则通过iframe,javascript或ajax来动态加载!例子:优点:...原创 2014-02-26 14:46:27 · 146 阅读 · 0 评论 -
测试工程方法论
最近在面试测试同学的时候,好多人都没法说出这个测试工程中该注意的地方。因此笔者把里面最精华的图拿出来了。[img]http://dl2.iteye.com/upload/attachment/0109/5964/36d23db0-f066-3b0f-a567-5c08da197f06.png[/img]参考文章[url]http://mp.weixin.qq.com/s?__b...2015-06-18 11:21:29 · 292 阅读 · 0 评论 -
各种存储介质寻址时间及CPU架构
通过下图可以简单的概括寻址时间如下CPU的L1 cache是纳秒级,0.5纳秒内存 微妙级,100纳秒硬盘 毫秒级10,000,000纳秒在线存储,近线存储,离线存储[img]http://dl2.iteye.com/upload/attachment/0111/6528/7c02aec5-eca7-3a69-a503-551f2e2f1028.jpg[/img...2015-09-12 16:46:13 · 381 阅读 · 0 评论 -
大型网站技术架构(二)模式和核心
[size=xx-large]一 模式[/size][b]分层[/b]应用、服务、数据。就是业务的水平切分。[b]分割[/b]不同业务模块独立。业务的垂直切分。[b]分布式[/b]应用,计算,存储[b]集群[/b][b]缓存[/b]本地缓存、分布式缓存、反向代理、CDN(注意:不光可以做缓存,也有加速的功能)[b]异步[/b]需要使用...2014-06-16 16:28:19 · 76 阅读 · 0 评论 -
日志架构(六)服务端设计
[size=xx-large]方案图[/size][img]http://dl2.iteye.com/upload/attachment/0093/6723/5f0117cb-b4e6-3508-8aa8-ed11a71f6925.jpg[/img][size=xx-large]模块[/size][b]前端http日志接口[/b]分为single log,array logs;...原创 2014-02-08 22:11:06 · 267 阅读 · 0 评论 -
日志架构(五)WWW的日志采集和展望
[b]确定的方案[/b]统一由前端发送日志到日志中心服务器确定后端传递到前端的参数格式,参数名要求和日志规范中严格一致;发送请求的时候,可以设置cookie参数和head参数发送格式举例:http://analytics.xxxx.com/__utm.gif?a=11&b=222&c=333公共参数需要写在JS组件中,例如版本信息,时间戳等参数,统一要有前缀(utm,方便与...2014-02-08 15:28:02 · 1606 阅读 · 0 评论 -
高性能硬件上的程序部署策略
硬件升级前:1个CPU,32位系统,1.5G堆硬件升级后:4个CPU,64位系统,16G物理内存,分配12G堆 管理员为了尽量利用硬件资源,选用了64位JDK,并通过-Xmx和-Xms参数将堆固定在12GB。但是网站经常不定期出现场时间没有相应的现象。 监控发现,是由于GC停顿造成的,虚拟机运行在server模式,默认是吞吐量优先收集器,回收12G堆,一次Full GC停顿...2012-09-05 17:18:07 · 109 阅读 · 0 评论 -
内存溢出案例分析
[b]集群间同步导致内存溢出[/b]JBossCache的JGroups进行通信。保证各个数据节点的数据同步。主要故障一般出现在网络不稳定的情况下,会有大量的同步重发数据在协议栈中积累。当并发量大的时候,加之网络不稳定,就会在内存中堆积过多导致溢出。[b]堆外内存导致的溢出错误[/b]cometD1.1.1框架,有大量的NIO操作,需要用大豆哦Direct Memory。容易造成堆...2014-01-22 09:52:59 · 186 阅读 · 0 评论 -
大型网站技术架构(一)概述
软件架构:有关软件整体结构与组件的抽象描述,用于指导大型软件系统各个方面的设计。[size=xx-large]一特点[/size][b]高并发、大流量[/b]google的日PV是35亿,日均IP是3亿。QQ最大在线数1.4亿(2011),淘宝双11一天交易额191亿(2012)[b]高可用[/b]7×24,99%,网站年度不可用时间小于88小时99.9%,小于9小...2014-06-16 10:54:49 · 190 阅读 · 0 评论 -
按照计算与存储的关系划分计算架构
按照计算与存储的关系,我们可以将计算架构分为四代: 第一代,基于磁盘的单一系统:计算过程中需要从磁盘读取数据。小型机、大型机是其中的佼佼者,将单一系统的性能做到极致。 第二代,基于磁盘的分布式集群系统:计算过程中需要从磁盘读取数据,但通过分布系统将数据分散到不同的服务器磁盘上,提高整个系统的处理能力。目前很多大型互联网和电子商务公司采用基于X86服务器的分布式集群系统,依靠海量...原创 2014-01-26 17:40:14 · 207 阅读 · 0 评论 -
日志架构(一)背景
[size=xx-large]一 局势[/size] 在我厂工作3年有余了。整理一下关于日志中心研发架构的事情吧。时隔2年了,2012年的夏天,受董总任命,刘总突然遭受日志凌乱困扰,派去研发我厂的日志中心。当时情况混乱,群雄逐鹿,各系统日志记录情况迥异,无法收拾残局,我厂有没有明确的方案出台,刘总派吾挂帅出征,前去清剿,统一日志。[size=xx-large]二 背景[/size...2014-02-07 15:54:17 · 184 阅读 · 0 评论 -
日志架构(二)调研
[size=xx-large]beacons+JavaScript(google analytics)[/size][img]http://dl2.iteye.com/upload/attachment/0093/6554/56fdc9bd-6455-369a-bbee-1fbeb3fe057e.jpg[/img] 优势:只需要在页面代码中操作,不需要配置服务器;数据的获取有较高的可...原创 2014-02-07 16:38:35 · 106 阅读 · 0 评论 -
日志架构(三)设计思想
这是我厂日志中心最核心的部分。下面就让老夫先介绍一下设计思想,在下篇文章中详细介绍设计的细节。[size=xx-large]设计思想[/size][b]统一性[/b]日志都放到统一的日志中心服务器(无状态)统一维护日志的组件代码(前端,后端组件,服务)[b]独立性[/b]降低与系统的耦合,当日志服务器不能工作的时候,不影响系统正常运行。日志系统更新,尽量不影...2014-02-07 21:20:35 · 96 阅读 · 0 评论 -
日志架构(四)核心框架
[size=xx-large]日志数据流[/size][img]http://dl2.iteye.com/upload/attachment/0093/6636/064b56c3-0147-3c72-a066-3e822e4530be.jpg[/img]其中在nginx部位,可以获取access.log,用返回的红色箭头获取upstream参数。[size=xx-large]日志处...原创 2014-02-08 10:09:50 · 187 阅读 · 0 评论 -
浅谈负载均衡SLB、CLB和综合应用
[size=xx-large]SLB[/size] 服务器负载均衡(Server Load Balancing),可以看作HSRP(热备份路由器协议)的扩展,实现多个服务器之间的负载均衡。 虚拟服务器代表的是多个真实服务器的群集,客户端向虚拟服务器发起连接时,通过某种负载均衡算法,转发到某真实服务器。 负载均衡算法有两种:Weighted round robin(WR...2014-04-29 10:42:03 · 1933 阅读 · 0 评论