asp.net解决高并发的方案（转）

最近几天一直在读代震军的博客，他是Discuz!NT的设计者，读了他的一系列关于Discuz!NT的架构设计文章，大呼过瘾，特别是Discuz!NT在解决高访问高并发时所设计的一系列方案，本人尤其感兴趣。写这篇文章的目的，算是对初次阅读之后的总结备忘吧，以便以后有时间亲自测试，如果能在生产环境中得到应用，那就更有参考价值了。

测试方法：
本地模拟测试网站高访问高并发采用的测试工具是大名鼎鼎的Loadrunner，这个工具做测试的一般都知道。在代震军的博客中，有以下几篇介绍了通过Loadrunner进行压力并发测试。

当DiscuzNT遇上了Loadrunner(上)
http://www.cnblogs.com/daizhj/archive/2009/09/25/1573926.html

当DiscuzNT遇上了Loadrunner(中) 
http://www.cnblogs.com/daizhj/archive/2009/09/27/1574897.html

当DiscuzNT遇上了Loadrunner(下) 
http://www.cnblogs.com/daizhj/archive/2009/09/27/1575091.html

Discuz!NT是一个论坛程序，是典型的互联网应用，在设计时本身就考虑了互联网应用场景下高并发高访问量的需求，在普通开源版本中，主要采用的缓存机制来提高系统的性能。

一、缓解数据库读取压力

 

相关文章如下：
Discuz!NT 缓存设计简析 [原创] 
http://www.cnblogs.com/daizhj/archive/2007/08/15/855163.html

这个缓存机制使用的是.Net本身提供的缓存功能，System.Web.Caching.Cache
这个方案可以解决一般访问量不是很大的站点的需求，更高一级的，可以通过增加Web园工作进程来达到提升性能的需求，而且这个方案里面，已经解决多进程下缓存同步的问题。

在Discuz!NT企业版中，提供了更高层次的解决方案，使用了分布式缓存机制，引入了Memcached、Redis、LLServer，相关文章如下：

Discuz!NT中集成Memcached分布式缓存
http://www.cnblogs.com/daizhj/archive/2009/03/23/1386652.html

 

在Discuz!NT中进行缓存分层(本地缓存+memcached)  
http://www.cnblogs.com/daizhj/archive/2009/11/17/1604436.html

Discuz!NT中的Redis架构设计

http://www.cnblogs.com/daizhj/archive/2011/02/21/1959511.html

Discuz!NT跨站缓存同步

http://www.cnblogs.com/daizhj/archive/2010/06/18/discuznt_memcache_syncdata.html

Discuz!NT中的LLServer架构设计

http://www.cnblogs.com/daizhj/archive/2011/08/26/discuznt_llserver_arch.html

Memcached是danga.com（运营LiveJournal的技术团队）开发的一套分布式内存对象缓存系统，用于在动态系统中减少数据库负载，提升性能。具体的介绍可以参考：

Memcached深度分析
http://www.cnblogs.com/luluping/archive/2009/01/14/1375456.html

通过以上的方案，能解决大部分高访问高并发的需求，因为论坛产品的特殊性，读写比大概是4:1，所以首先应该在读数据方面进行减压优化。

 

二、缓解Web服务器压力

 

Discuz!NT在缓解Web服务器压力上采用了如下的方案。

1.       将用户上传的附件通过FTP方式传送到另外一台服务器上，相关的文章如下：

　　Discuz!NT中远程附件的功能实现[FTP协议]

　　http://www.cnblogs.com/daizhj/archive/2008/07/28/1254648.html

3. 通过SQUID将静态文件缓存分布
使用SQUID做静态前端，将论坛中的大部分静态文件布署或外链到一个新的HTTP链接上，从而给Web服务器减压，提升性能。

Discuz!NT静态文件缓存(SQUID)解决方案
http://www.cnblogs.com/daizhj/archive/2010/06/10/1692758.html

三、负载均衡

 

通过以上的方案，Web服务器压力小了，性能也提升了，但是如果遇到更高的并发访问量，单台Web服务器还是不能满足需求，Discuz!NT采取了负载均衡的方案。使用了LVS+KEEPALIVED、NGINX等。相关文章如下：

　　　　Discuz!NT负载均衡解决方案(HA)之---LVS(Linux Virtual Server)
　　　　http://www.cnblogs.com/daizhj/archive/2010/06/13/1693673.html

　　　　Discuz!NT负载均衡解决方案(HA)之---LVS(Linux Virtual Server)

　　　　http://www.cnblogs.com/daizhj/archive/2010/06/13/1693673.html

　　　　Discuz!NT负载均衡方案

　　　　http://www.cnblogs.com/daizhj/archive/2010/06/24/1667422.html

　　　　使用的是nginx,使用nginx作为前端负载均衡，这个确实很有吸引力，有时间能试用下就好。

 
四、缓解数据库压力

在Discuz!NT中，数据库作为数据持久化工具，必定在并发访问频繁且负载压力较大的情况下成为系统性能的‘瓶颈’。即使使用上面的本地缓存等方式来解决频繁访问数据库的问题，但仍旧会有大量的并发请求要访问动态数据， 其中的‘读写分离’方案就是一种被广泛采用的方案。相关文章：

　　　　Discuz!NT数据库读写分离方案

　　　　http://www.cnblogs.com/daizhj/archive/2010/06/21/dbsnap_master_slave_database.html

全文搜索方案：

Discuz!NT企业版之Sphinx全文搜索(上)

　　　　http://www.cnblogs.com/daizhj/archive/2010/06/28/discuznt_entlib_sphinx_one.html

 　　　　Discuz!NT企业版之Sphinx全文搜索(下)

　　　　http://www.cnblogs.com/daizhj/archive/2010/06/30/discuznt_entlib_sphinx_two.html

　　　　处理大数据量：

Discuz!NT千万级数据量上的两驾马车--TokyoCabinet,MongoDB

http://www.cnblogs.com/daizhj/archive/2010/07/22/1781140.html

好了，上面就是Discuz!NT企业版为了提升性能采取的一系列方案，确实对asp.net互联网应用很有参考价值，其中用到的很多开源产品都是基于Linux的，如Memcached、Redis、LLServer、SQUID、NGINX、LVS、Sphinx，虽然有些产品有Windows版本，但是其性能表现能力远远比不上Linux上面，看来在Web应用上，性能方面的表现以及开源产品的研究，Linux远远的走在了Windows前面。

ASP.NET并发处理

讲到并发处理，我们一般会分为两个方面来说：a)服务器级别的并发控制； b)程序级别的并发控制。

服务器级别的并发控制：

Ø  调整服务器应用程序池中的最大连接数。

对于Web 服务器，dudu在优化博客园的服务器的时候写过以下的文章。

dudu 写过让Windows Server 2008+IIS 7+ASP.NET支持10万个同时请求http://www.cnblogs.com/dudu/archive/2009/11/10/1600062.html

1. 调整IIS 7应用程序池队列长度

由原来的默认1000改为65535。

IIS Manager > ApplicationPools > Advanced Settings

Queue Length : 65535

2.  调整IIS 7的appConcurrentRequestLimit设置

由原来的默认5000改为100000。

appcmd.exe set config /section:serverRuntime /appConcurrentRequestLimit:100000

在%systemroot%\System32\inetsrv\config\applicationHost.config中可以查看到该设置。

3. 调整machine.config中的processModel>requestQueueLimit的设置

由原来的默认5000改为100000。

<configuration>
<system.web>
<processModel requestQueueLimit="100000"/>

4. 修改注册表，调整IIS 7支持的同时TCPIP连接数

由原来的默认5000改为100000。

reg add HKLM\System\CurrentControlSet\Services\HTTP\Parameters /v MaxConnections /t REG_DWORD /d 1000000 

完成上述4个设置，就可以支持10万个同时请求

 

Ø  对于DB服务器同样也可以调整最大连接数来做优化。

      在调整优化好最大连接数之后，就只有软硬件负载均衡了。硬件负载均衡能够直接通过智能交换机实现，处理能力强，而且与系统无关，但是价格贵，配置困难，不能区分实习系统与应用的状态。所以硬件负载均衡适用于一大堆设备，大访问量，简单应用。软件负载均衡是基于系统与应用的，能过更好地根据系统与应用的状况来分配负载。性价比高。PCL负载均衡软件，Linux下的LVS软件。

程序级别的并发控制：

当两个用户同时访问一个页面，一个用户可能更新的事另一个用户已经删除的记录。或者，在一个用户加载页面跟他点击删除按钮之间的时间里，另一个用户修改了这条记录的内容。

有下面三中并发控制策略可供选择：

Ø 什么都不做 –如果并发用户修改的是同一条记录，让最后提交的结果生效（默认的行为）

Ø 开放式并发（Optimistic Concurrency） - 假定并发冲突只是偶尔发生，绝大多数的时候并不会出现； 那么，当发生一个冲突时，仅仅简单的告知用户，他所作的更改不能保存，因为别的用户已经修改了同一条记录

Ø 保守式并发（Pessimistic Concurrency） – 假定并发冲突经常发生，并且用户不能容忍被告知自己的修改不能保存是由于别人的并发行为；那么，当一个用户开始编辑一条记录，锁定该记录，从而防止其他用户编辑或删除该记录，直到他完成并提交自己的更改