大型web系统架构详解

  动态应用,是相对于网站静态内容而言,是指以c/c++phpJavaperl.net等服务器端语言开发的网络应用软件,比如论坛、网络相册、交友、BLOG等常见应用。动态应用系统通常与数据库系统、缓存系统、分布式存储系统等密不可分。

  大型动态应用系统平台主要是针对于大流量、高并发网站建立的底层系统架构。大型网站的运行需要一个可靠、安全、可扩展、易维护的应用系统平台做为支撑,以保证网站应用的平稳运行。 

  大型动态应用系统又可分为几个子系统:
  (1) Web前端系统
  (2) 负载均衡系统
  (3) 数据库集群系统
  (4) 缓存系统
  (5) 分布式存储系统
  (6) 分布式服务器管理系统
  (7) 代码分发系统

  

一、Web前端系统

  

   为了达到不同应用的服务器共享、避免单点故障、集中管理、统一配置等目的,不以应用划分服务器,而是将所有服务器做统一使用,每台服务器都可以对多个应用提供服务,当某些应用访问量升高时,通过增加服务器节点达到整个服务器集群的性能提高,同时使他应用也会受益。

  该Web前端系统基于Apache/Lighttpd/Eginx等的虚拟主机平台,提供java程序运行环境。服务器对开发人员是透明的,不需要开发人员介入服务器管理

 

二、负载均衡系统

  

   负载均衡系统分为硬件和软件两种。

  硬件负载均衡效率高,但是价格贵,比如F5等。软件负载均衡系统价格较低或者免费,效率较硬件负载均衡系统低,不过对于流量一般或稍大些网站来讲也足够使用,比如lvs,nginx。大多数网站都是硬件、软件负载均衡系统并用。

 

三、数据库集群系统

   

  由于Web前端采用了负载均衡集群结构提高了服务的有效性和扩展性,因此数据库必须也是高可靠的,才能保证整个服务体系的高可靠性,如何构建一个高可靠的、可以提供大规模并发处理的数据库体系?

  我们可以采用如上图所示的方案:

  (1) 使用 MySQL 数据库,考虑到Web应用的数据库读多写少的特点,我们主要对读数据库做了优化,提供专用的读数据库和写数据库,在应用程序中实现读操作和写操作分别访问不同的数据库。

  (2) 使用 MySQL Replication 机制实现快速将主库(写库) 的数据库复制到从库(读库) 。一个主库对应多个从库,主库数据实时同步到从库。

  (3) 写数据库有多台,每台都可以提供多个应用共同使用,这样可以解决写库的性能瓶颈问题和单点故障问题。

  (4) 读数据库有多台,通过负载均衡设备实现负载均衡,从而达到读数据库的高性能、高可靠和高可扩展性。

  (5) 数据库服务器和应用服务器分离。

  (6) 从数据库使用BigIP做负载均衡。

 

四、缓存系统

   

  缓存分为文件缓存、内存缓存、数据库缓存。在大型Web应用中使用最多且效率最高的是内存缓存。最常用的内存缓存工具是Memcached。使用正确的缓存系统可以达到实现以下目标:

  (1) 使用缓存系统可以提高访问效率,提高服务器吞吐能力,改善用户体验。

  (2) 减轻对数据库及存储集服务器的访问压力。

  (3) Memcached服务器有多台,避免单点故障,提供高可靠性和可扩展性,提高性能。

  

五、分布式存储系统

   

  Web系统平台中的存储需求有下面两个特点:

  (1) 存储量很大,经常会达到单台服务器无法提供的规模,比如相册、视频等应用。因此需要专业的大规模存储系统。

  (2) 负载均衡cluster中的每个节点都有可能访问任何一个数据对象,每个节点对数据的处理也能被其他节点共享,因此这些节点要操作的数据从逻辑上看只能是一个整体,不是各自独立的数据资源。

  因此高性能的分布式存储系统对于大型网站应用来说是非常重要的一环。(这个地方需要加入对某个分布式存储系统的简单介绍。) 

 

六、分布式服务器管理系统

  

   随着网站访问流量的不断增加,大多的网络服务都是以负载均衡集群的方式对外提供服务,随之集群规模的扩大,原来基于单机的服务器管理模式已经不能够满足我们的需求,新的需求必须能够集中式的、分组的、批量的、自动化的对服务器进行管理,能够批量化的执行计划任务。

  在分布式服务器管理系统软件中有一些比较优秀的软件,其中比较理想的一个是Cfengine。它可以对服务器进行分组,不同的分组可以分别定制系统配置文件、计划任务等配置。它是基于C/S 结构的,所有的服务器配置和管理脚本程序都保存在Cfengine Server上,而被管理的服务器运行着 Cfengine Client 程序,Cfengine Client通过SSL加密的连接定期的向服务器端发送请求以获取最新的配置文件和管理命令、脚本程序、补丁安装等任务。

  有了Cfengine这种集中式的服务器管理工具,我们就可以高效的实现大规模的服务器集群管理,被管理服务器和 Cfengine Server 可以分布在任何位置,只要网络可以连通就能实现快速自动化的管理。

  

七、代码发布系统

  

   随着网站访问流量的不断增加,大多的网络服务都是以负载均衡集群的方式对外提供服务,随之集群规模的扩大,为了满足集群环境下程序代码的批量分发和更新,我们还需要一个程序代码发布系统。

  这个发布系统可以帮我们实现下面的目标:

  (1) 生产环境的服务器以虚拟主机方式提供服务,不需要开发人员介入维护和直接操作,提供发布系统可以实现不需要登陆服务器就能把程序分发到目标服务器。

  (2) 我们要实现内部开发、内部测试、生产环境测试、生产环境发布的4个开发阶段的管理,发布系统可以介入各个阶段的代码发布。

  (3) 我们需要实现源代码管理和版本控制,SVN可以实现该需求。

  这里面可以使用常用的工具Rsync,通过开发相应的脚本工具实现服务器集群间代码同步分发。

本博客采用ASP.NET2.0 c# + MSSQL2005 + XML + jquery + anthem.net开发,暂时为单用户版本,以下简单介绍... 程序基于类似petshop的标准三层架构,方便维护与扩展(不过暂时只支持MSSQL数据库-_-||) 前台使用jquery框架实现完全无刷新,可以更快捷的进行各种操作,并且交互结果能即时显示,无需刷新页面 边栏实现模块化,除导航菜单外所有功能模块都可以在后台自由排序删除加载,并且可以自定义新的模块 后台因安全原因使用服务器端的anthem.net框架开发,实现数据操作无刷新 所有数据操作全部封装在数据库里,一定程度上提高了性能 无刷新动态换肤,并支持自定义皮肤样式 系统暂时支持ie7、firefox+、maxthon、腾讯tt、theworld几款浏览器,ie6有些小问题(主要是ie6自身bug) v1.080709更新记录: 重写后台页面结构,改进了后台一些功能 修正了一些外部类库的写法及错误的注释 前台采用最新的jquery1.2.6版,后台编辑器采用最新的3.4.8版 增加文章内容判断功能,即如果内容快照为空,则不折叠显示文章内容(适合篇幅较短的文章) 改进ajax功能,优化了一些js写法 数据库下载改用实体文件,直接附加即可 v1.080606更新记录: 数据库改动较大,个别表增加字段,大部分存储过程重写,增加sql2005的分页存储过程 增加前台评论分页,重写了分页机制以及底层一些函数(因为数据库的改动) 增加日志保存草稿功能,并增加日志转移功能 增加相片自定义水印功能 改进后台评论查看机制,增加后台统计功能 集成gzip压缩技术(性能是否提升还要进一步考证- -||) 增强自定义属性,如默认css、分页大小、水印等等 增加一款皮肤:仿msdn红色 修改了关于css列表加载顺序的bug,增强对ie6的支持(不过仍有些小问题- -||) 首页结构有小修改,并修正了一些小问题 v1.080516更新记录: 增加相片生成缩略功能 增加生成静态页功能(目前只针对日志) 增加ttings提供的一款皮肤:ttings 修正一些小bug 注: * 程序因注重代码结构层次和可读性,牺牲了些许性能,request会比较多 * gzip压缩性能有待进一步测试,因为虽然压缩后减少了数据传输量,但压缩本身要消耗一定的服务器资源,不知孰重孰轻... * 文本编辑器采用的是开源的DotNetTextBox 【数据库配置】 web/App_Data里是数据库实体文件,用mssql2005(必须是mssql2005)附加即可 然后修改程序web.config的数据库连接字符串,有两个地方,一个在节点内,一个在节点内,这个就不多说了 【管理员帐户配置】:默认帐号/密码:51aspx/51aspx 也可以运行web/tools下的Encrypt.aspx,输入自定义用户名和密码,选md5,加密字符串,然后打开web.config,找到 分别替换value值,完成后就可以登录后台了,后台登录页是adm/login.aspx;index.htm是首页
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值