大型网站数据库优化和故障跟踪与排查

 

【主题】

在某个大型网站中，有张保存新闻记录的表，数据库量5万左右（其实不算大），网站页面中的新闻都是从该表中动态生产的，同时还有80~90家的通发网站中的新闻也是从该表中动态生产的。导致该表的访问量非常地的大，尤其是在搞活动时网站几乎崩溃。针对这种情况，对网站进行优化，并阐述优化中发现或可能导致死循环的情况。

 

【 网站框架】IIS6.0+MS SQL 2000 +ASP3.0+win 2003

【 思路】

1、             利用windows 任务管理器，查看进程cup占用情况。如果数据库进程（sqlservr.exe）占用的cup很高的话，一般来说要在数据库优化（这里不谈优化工具）上下功夫；如果IIS 进程（w3pw.exe）占用的cup很高（高的有点离谱，甚至是瞬间很高）的话，就要看看代码了，有死循环的嫌疑很大。

 

2、             数据库中的优化主要从建立索引，查询语句，存储过程，ASP代码等方面进行优化。

 

3、             IIS方面可以建立应用程序池，实现优化。

 

4、             本文不谈服务器硬件升级。

 

【 实战】

 

1、打开服务器的任务管理器
 

 

 

 

 

 

 

 

 

 

 

（2）聚类与非聚类索引使用的一般规则：

动作描述	使用聚集索引	使用非聚集索引
列经常被分组排序	应	应
返回某范围内的数据	应	不应
一个或极少不同值	不应	不应
小数目的不同值	应	不应
大数目的不同值	不应	应
频繁更新的列	不应	应
外键列	应	应
主键列	应	应
频繁修改索引列	不应	应

 （3）根据实际情况，不要认为主键应该使用聚类索引（MS SQL 把主键设为默认的聚类索引）。通常，我们会在每个表中都建立一个ID列，以区分每条数据，并且这个ID列是自动增大的，步长一般为1。此时，如果我们将这个列设为主键，SQL SERVER会将此列默认为聚集索引。这样做可以让您的数据在数据库中按照ID进行物理排序，但在实际应用中，因为ID号是自动生成的，我们并不知道每条记录的ID号，所以我们很难在实践中用ID号来进行查询。这就使让ID号这个主键作为聚集索引成为一种资源浪费。
 
（4）SQL语句优化的实例：
 
 SARG的定义：用于限制搜索的一个操作，因为它通常是指一个特定的匹配，一个值得范围内的匹配或者两个以上条件的AND连接。形式如下： 
列名 操作符 <常数 或 变量>或<常数 或 变量> 操作符列名

 

 

 

 

 

 

 

 

 

 

 查看查询计划：

  

从套红的部分看，这两条语句性能是一样的，也验证了 IN 和 EXISTS是等效的。

 

Ｂ、在各个select语句前加：declare @d datetime set @d=getdate()  并在select语句后加：select [语句执行花费时间(毫秒)]=datediff(ms,@d,getdate()) 

    可以知道 SQL语句执行需要的毫秒数。

B 、采用了以上的优化以后，发现数据库的进程占用的cup有所下降，但还是偏高。

请使用ＭＳ SQＬ事件探查器，跟踪MS ＳＱＬ的请求



  打开“事件探查器”，新建“跟踪"

1）、如果“事件探查器”中，有很多的 RPC事件，并且执行sp_cursoropen sp_cursorfetch

Sp_cursorclose ,说明在使用 ASP数据集对象时，使用的游标服务不合适。

请使用“客户端游标”，代码： RS.CursorLocation=3 其中RS为数据集对象，3表示客户端游标，不要使用adUseClient，有时会有问题。

 

2）、数据集对象的操作要注意的地方

    RS.Open一般建议：

rs.open sql,conn,0,1 顺序遍历，不需要定位跳转，不需要添加删除更新操作，速度最快

rs.open sql,conn,1,3 遍历，可以进行更新操作，但不能进行定位跳转

rs.open sql,conn,2,3 可以进行所有操作，可以跳转

 

说明：第三个参数表示游标的类型，第四个参数表示锁类型

可以参考： http://www.cnblogs.com/David-weihw/archive/2007/01/10/616936.html

 

 

经过以上的优化，一般应该可以解决 MS SQL进程占用cup过高的情况。如果还不行的话，就严重了，请重新设计数据库存储结构去吧。

马上发布下篇。

2 、经过数据库的优化后，发现IIS的进程占用的cup非常的高，甚至瞬间上升到80%~90

 

A、这种情况估计是代码中存在死循环。天哪，网站上有几百甚至上千的文件，如何查找，晕死。

首先，分析一下死循环产生的情况，利用 VBScript写ASP的时候，利用循环语句时，可能发生死循环。举例子，最能说明问题：

 

 strSQL=”Select name from user where name=’张三 ’”

 Set RS=Server.CreateObject("ADODB.RecordSet")

RS.CursorLocation=3

RS.Open strSQL,objConn,0,1  ’objConn是已经创建好的对象

 

i=0

 DO While i<=5 and Not RS.EOF

i=i+1

‘一些操作

RS.MoveNext

Loop

 

如果RS.MoveNext忘写了,肯定是死了。但这种情况很少发生，要发生这样的错误，将是不可饶恕。

如果SQL语句有错误，由于某种原因条件变为name=”张三”，或者name=张三；本人调试的时候，发现上述的语句是死循环。很纳闷，i<=5应该可以结束循环，但并没有。有兴趣的话，可以试试，至少本人测试是死循环。

 

 

 

 

 

解决方案：

a.       改造循环语句,使其更健壮。测试结果显示，可以结束循环

i=0

 DO While Not RS.EOF

i=i+1

‘一些操作

RS.MoveNext

if i>5 then

              exit do

end if

Loop

 

b. 对于 RecordSet对象，如果打开没有记录的 Recordset 对象， BOF 和 EOF 属性将设置为 True，而 Recordset 对象的 RecordCount属性设置为零。打开至少包含一条记录的 Recordset 对象时，第一条记录为当前记录，而 BOF 和 EOF 属性为 False。但是，我在使用中发现，如果有一条记录时，上面的说法并不准确。 本人发现有的程序员在判断用户是否存在时，利用了 NOT RS.EOF , 这样有可能根据错误的逻辑，造成死循环，建议最好使用 RecordCount 。

 

其次，如果上述的方法由于代码太多，行不通。这里有一个很具有针对性的方案。

     

思路：使用服务器上的MS SQL工具“事件探查器”和“任务管理器”。新建一个跟踪，当CUP达到100%时，请马上“暂停所选择的跟踪”或“停止所选择的跟踪”，然后把所有执行的SQL命令抠出来，粘贴到“查询分析器”中查看是否存在语法错误。

 

操作图示：

根据存在语法错误的SQL语句，定位可能出问题文件。这一点很重要。

 

通过上述的数据库优化和对文件中SQL语句的逐一排查，如果还不能解决您的问题。请继续往下看。

 

3 、打开服务器上“管理工具”中的“性能”

 

操作图示：


跟踪查看每个性能对象的参数：参考下面的图示

请关注套红部分的参数，如果由于访问量的过大，造成CUP负载过大的话，赶快升级服务器的硬件去吧！

【写后感】

本文仅仅是在原有的框架设计基础上进行的优化，一个易用，健壮，安全，并且性能良好的网站，仅上面谈到的还远远不够。请大家把好的框架设计，存储结构及宝贵的经验拿来分享。

【声明】

　此文仅是本人的一点经验，不当之处请大家指点。望大家共同参与大型网站优化的讨论。