精华贴子整理之SQL性能优化3

数据库经典 专栏收录该内容
173 篇文章 0 订阅

如何加快查询速度?
1、升级硬件 
2、根据查询条件,建立索引,优化索引、优化访问方式,限制结果集的数据量。
3、扩大服务器的内存
4、增加服务器CPU个数
5、对于大的数据库不要设置数据库自动增长,它会降低服务器的性能
6、在查询Select语句中用Where字句限制返回的行数,避免表扫描,如果返回不必要的数据,浪费了服务器的I/O资源,加重了网络的负担降低性能。如果表很大,在表扫描的期间将表锁住,禁止其他的联接访问表,后果严重。
7、查询时不要返回不需要的行、列
8、用select   top   100   /   10   Percent   来限制用户返回的行数或者SET   ROWCOUNT来限制操作的行
9、在IN后面值的列表中,将出现最频繁的值放在最前面,出现得最少的放在最后面,减少判断的次数
10、一般在GROUP   BY   个HAVING字句之前就能剔除多余的行,所以尽量不要用它们来做剔除行的工作。他们的执行顺序应该如下最优:
      select的Where字句选择所有合适的行,
Group   By用来分组个统计行,Having字句用来剔除多余的分组。这样Group   By   个Having的开销小,查询快.对于大的数据行进行分组和Having十分消耗资源。如果Group   BY的目的不包括计算,只是分组,那么用Distinct更快
11、一次更新多条记录比分多次更新每次一条快,就是说批处理好

 

 

 

MS   SQL   Server查询优化方法
查询速度慢的原因很多,常见如下几种 

       
1、没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷) 
       
2、I/O吞吐量小,形成了瓶颈效应。 
       
3、没有创建计算列导致查询不优化。 
       
4、内存不足 
       
5、网络速度慢 
       
6、查询出的数据量过大(可以采用多次查询,其他的方法降低数据量) 
       
7、锁或者死锁(这也是查询慢最常见的问题,是程序设计的缺陷) 
       
8、sp_lock,sp_who,活动的用户查看,原因是读写竞争资源。 
       
9、返回了不必要的行和列 
       
10、查询语句不好,没有优化 

        可以通过如下方法来优化查询 

       
1、把数据、日志、索引放到不同的I/O设备上,增加读取速度,以前可以将Tempdb应放在RAID0上,SQL2000不在支持。数据量(尺寸)越大,提高I/O越重要. 
       
2、纵向、横向分割表,减少表的尺寸(sp_spaceuse) 
       
3、升级硬件 
       
4、根据查询条件,建立索引,优化索引、优化访问方式,限制结果集的数据量。注意填充因子要适当(最好是使用默认值0)。索引应该尽量小,使用字节数小的列建索引好(参照索引的创建),不要对有限的几个值的字段建单一索引如性别字段 
       
5、提高网速; 
       
6、扩大服务器的内存,Windows   2000和SQL   server   2000能支持4-8G的内存。配置虚拟内存:虚拟内存大小应基于计算机上并发运行的服务进行配置。运行   Microsoft   SQL   Server?   2000   时,可考虑将虚拟内存大小设置为计算机中安装的物理内存的   1.5   倍。如果另外安装了全文检索功能,并打算运行   Microsoft   搜索服务以便执行全文索引和查询,可考虑:将虚拟内存大小配置为至少是计算机中安装的物理内存的   3   倍。将   SQL   Server   max   server   memory   服务器配置选项配置为物理内存的   1.5   倍(虚拟内存大小设置的一半)。 
       
7、增加服务器CPU个数;但是必须明白并行处理串行处理更需要资源例如内存。使用并行还是串行程是MsSQL自动评估选择的。单个任务分解成多个任务,就可以在处理器上运行。例如耽搁查询的排序、连接、扫描和GROUP   BY字句同时执行,SQL   SERVER根据系统的负载情况决定最优的并行等级,复杂的需要消耗大量的CPU的查询最适合并行处理。但是更新操作UPDATE,INSERT, DELETE还不能并行处理。 
       
8、如果是使用like进行查询的话,简单的使用index是不行的,但是全文索引,耗空间。   like   'a%'   使用索引   like   '%a'   不使用索引用   like   '%a%'   查询时,查询耗时和字段值总长度成正比,所以不能用CHAR类型,而是VARCHAR。对于字段的值很长的建全文索引。 
       
9、DB   Server   和APPLication   Server   分离;OLTP和OLAP分离 
       
10、分布式分区视图可用于实现数据库服务器联合体。联合体是一组分开管理的服务器,但它们相互协作分担系统的处理负荷。这种通过分区数据形成数据库服务器联合体的机制能够扩大一组服务器,以支持大型的多层   Web   站点的处理需要。有关更多信息,参见设计联合数据库服务器。(参照SQL帮助文件'分区视图') 

          a、在实现分区视图之前,必须先水平分区表 
        b、在创建成员表后,在每个成员服务器上定义一个分布式分区视图,并且每个视图具有相同的名称。这样,引用分布式分区视图名的查询可以在任何一个成员服务器上运行。系统操作如同每个成员服务器上都有一个原始表的复本一样,但其实每个服务器上只有一个成员表和一个分布式分区视图。数据的位置对应用程序是透明的。 

     
11、重建索引   DBCC   REINDEX   ,DBCC   INDEXDEFRAG,收缩数据和日志   DBCC   SHRINKDB,DBCC   SHRINKFILE.   设置自动收缩日志.对于大的数据库不要设置数据库自动增长,它会降低服务器的性能。   在T-sql的写法上有很大的讲究,下面列出常见的要点:首先,DBMS处理查询计划的过程是这样的: 

       
1、   查询语句的词法、语法检查         
       
2、   将语句提交给DBMS的查询优化器 
       
3、   优化器做代数优化和存取路径的优化 
       
4、   由预编译模块生成查询规划 
       
5、   然后在合适的时间提交给系统处理执行 
       
6、   最后将执行结果返回给用户其次,看一下SQL   SERVER的数据存放的结构:一个页面的大小为8K(8060)字节,8个页面为一个盘区,按照B树存放。 

       
12、Commit和rollback的区别   Rollback:回滚所有的事物。   Commit:提交当前的事物.   没有必要在动态SQL里写事物,如果要写请写在外面如:   begin   tran   exec(@s)   commit   trans   或者将动态SQL   写成函数或者存储过程。 

       
13、在查询Select语句中用Where字句限制返回的行数,避免表扫描,如果返回不必要的数据,浪费了服务器的I/O资源,加重了网络的负担降低性能。如果表很大,在表扫描的期间将表锁住,禁止其他的联接访问表,后果严重。 

       
14、SQL的注释申明对执行没有任何影响 

       
15、尽可能不使用光标,它占用大量的资源。如果需要row-by-row地执行,尽量采用非光标技术,如:在客户端循环,用临时表,Table变量,用子查询,用Case语句等等。游标可以按照它所支持的提取选项进行分类:   只进   必须按照从第一行到最后一行的顺序提取行。FETCH   NEXT   是唯一允许的提取操作,也是默认方式。可滚动性   可以在游标中任何地方随机提取任意行。游标的技术在SQL2000下变得功能很强大,他的目的是支持循环。 

        有四个并发选项 

READ_ONLY:不允许通过游标定位更新(
Update),且在组成结果集的行中没有锁。 

        OPTIMISTIC  
WITH   valueS:乐观并发控制是事务控制理论的一个标准部分。乐观并发控制用于这样的情形,即在打开游标及更新行的间隔中,只有很小的机会让第二个用户更新某一行。当某个游标以此选项打开时,没有锁控制其中的行,这将有助于最大化其处理能力。如果用户试图修改某一行,则此行的当前值会与最后一次提取此行时获取的值进行比较。如果任何值发生改变,则服务器就会知道其他人已更新了此行,并会返回一个错误。如果值是一样的,服务器就执行修改。   选择这个并发选项OPTIMISTIC   WITH   ROW   VERSIONING:此乐观并发控制选项基于行版本控制。使用行版本控制,其中的表必须具有某种版本标识符,服务器可用它来确定该行在读入游标后是否有所更改。 
        在   SQL   Server   中,这个性能由  
timestamp   数据类型提供,它是一个二进制数字,表示数据库中更改的相对顺序。每个数据库都有一个全局当前时间戳值:@@DBTS。每次以任何方式更改带有   timestamp   列的行时,SQL   Server   先在时间戳列中存储当前的   @@DBTS   值,然后增加   @@DBTS   的值。如果某   个表具有   timestamp   列,则时间戳会被记到行级。服务器就可以比较某行的当前时间戳值和上次提取时所存储的时间戳值,从而确定该行是否已更新。服务器不必比较所有列的值,只需比较   timestamp   列即可。如果应用程序对没有   timestamp   列的表要求基于行版本控制的乐观并发,则游标默认为基于数值的乐观并发控制。 
        SCROLL   LOCKS   这个选项实现悲观并发控制。在悲观并发控制中,在把数据库的行读入游标结果集时,应用程序将试图锁定数据库行。在使用服务器游标时,将行读入游标时会在其上放置一个更新锁。如果在事务内打开游标,则该事务更新锁将一直保持到事务被提交或回滚;当提取下一行时,将除去游标锁。如果在事务外打开游标,则提取下一行时,锁就被丢弃。因此,每当用户需要完全的悲观并发控制时,游标都应在事务内打开。更新锁将阻止任何其它任务获取更新锁或排它锁,从而阻止其它任务更新该行。 
        然而,更新锁并不阻止共享锁,所以它不会阻止其它任务读取行,除非第二个任务也在要求带更新锁的读取。滚动锁根据在游标定义的  
SELECT   语句中指定的锁提示,这些游标并发选项可以生成滚动锁。滚动锁在提取时在每行上获取,并保持到下次提取或者游标关闭,以先发生者为准。下次提取时,服务器为新提取中的行获取滚动锁,并释放上次提取中行的滚动锁。滚动锁独立于事务锁,并可以保持到一个提交或回滚操作之后。如果提交时关闭游标的选项为关,则   COMMIT   语句并不关闭任何打开的游标,而且滚动锁被保留到提交之后,以维护对所提取数据的隔离。所获取滚动锁的类型取决于游标并发选项和游标   SELECT   语句中的锁提示。 
        锁提示   只读   乐观数值   乐观行版本控制   锁定无提示   未锁定   未锁定   未锁定   更新   NOLOCK   未锁定   未锁定   未锁定   未锁定  
HOLDLOCK   共享   共享   共享   更新   UPDLOCK   错误   更新   更新   更新   TABLOCKX   错误   未锁定   未锁定   更新其它   未锁定   未锁定   未锁定   更新   *指定   NOLOCK   提示将使指定了该提示的表在游标内是只读的。 

       
16、用Profiler来跟踪查询,得到查询所需的时间,找出SQL的问题所在;用索引优化器优化索引 

       
17、注意UNion和UNion   all   的区别。UNION   all好 

       
18、注意使用DISTINCT,在没有必要时不要用,它同UNION一样会使查询变慢。重复的记录在查询里是没有问题的 

       
19、查询时不要返回不需要的行、列 

       
20、用sp_configure   'query   governor   cost   limit'或者SET   QUERY_GOVERNOR_COST_LIMIT来限制查询消耗的资源。当评估查询消耗的资源超出限制时,服务器自动取消查询,在查询之前就扼杀掉。 SET   LOCKTIME设置锁的时间 

21、用select   top   100   /   10   Percent   来限制用户返回的行数或者SET   ROWCOUNT来限制操作的行 

       
22、在SQL2000以前,一般不要用如下的字句:   "IS   NULL",   " <> ",   "!=",   "!> ",   "! <",   "NOT",   "NOT   EXISTS",   "NOT   IN",   "NOT   LIKE",   and   "LIKE   '%500'",因为他们不走索引全是表扫描。也不要在WHere字句中的列名加函数,如Convert,substring等,如果必须用函数的时候,创建计算列再创建索引来替代.还可以变通写法:WHERE   SUBSTRING(firstname,1,1)   =   'm'改为WHERE   firstname   like   'm%'(索引扫描),一定要将函数和列名分开。并且索引不能建得太多和太大。NOT   IN会多次扫描表,使用EXISTS、NOT   EXISTS   ,IN   ,   LEFT   OUTER   JOIN   来替代,特别是左连接,而Exists比IN更快,最慢的是NOT操作.如果列的值含有空,以前它的索引不起作用,现在2000的优化器能够处理了。相同的是IS   NULL,“NOT",   "NOT   EXISTS",   "NOT   IN"能优化她,而” <> ”等还是不能优化,用不到索引。 

       
23、使用Query   Analyzer,查看SQL语句的查询计划和评估分析是否是优化的SQL。一般的20%的代码占据了80%的资源,我们优化的重点是这些慢的地方。 

       
24、如果使用了IN或者OR等时发现查询没有走索引,使用显示申明指定索引:   SELECT   *   FROM   PersonMember   (INDEX   =   IX_Title)   WHERE   processid   IN   (‘男’,‘女’) 

         
25、将需要查询的结果预先计算好放在表中,查询的时候再SELECT。这在SQL7.0以前是最重要的手段。例如医院的住院费计算。 

       
26MIN()   和   MAX()能使用到合适的索引 

       
27、数据库有一个原则是代码离数据越近越好,所以优先选择Default,依次为Rules,Triggers,   Constraint(约束如外健主健CheckUNIQUE……,数据类型的最大长度等等都是约束),Procedure.这样不仅维护工作小,编写程序质量高,并且执行的速度快。 

       
28、如果要插入大的二进制值到Image列,使用存储过程,千万不要用内嵌INsert来插入(不知JAVA是否)。因为这样应用程序首先将二进制值转换成字符串(尺寸是它的两倍),服务器受到字符后又将他转换成二进制值.存储过程就没有这些动作:   方法:Create   procedure   p_insert   as   insert   into   table(Fimage)   values   (@image),   在前台调用这个存储过程传入二进制参数,这样处理速度明显改善。 

           
29、Between在某些时候比IN速度更快,Between能够更快地根据索引找到范围。用查询优化器可见到差别。   select   *   from   chineseresume   where   title   in   ('','')   Select   *   from   chineseresume   where   between   ''   and   ''   是一样的。由于in会在比较多次,所以有时会慢些。 

         
30、在必要是对全局或者局部临时表创建索引,有时能够提高速度,但不是一定会这样,因为索引也耗费大量的资源。他的创建同是实际表一样。 

       
31、不要建没有作用的事物例如产生报表时,浪费资源。只有在必要使用事物时使用它。 
      
       
32、用OR的字句可以分解成多个查询,并且通过UNION   连接多个查询。他们的速度只同是否使用索引有关,如果查询需要用到联合索引,用UNION   all执行的效率更高.多个OR的字句没有用到索引,改写成UNION的形式再试图与索引匹配。一个关键的问题是否用到索引。 

       
33、尽量少用视图,它的效率低。对视图操作比直接对表操作慢,可以用stored   procedure来代替她。特别的是不要用视图嵌套,嵌套视图增加了寻找原始资料的难度。我们看视图的本质:它是存放在服务器上的被优化好了的已经产生了查询规划的SQL。对单个表检索数据时,不要使用指向多个表的视图,直接从表检索或者仅仅包含这个表的视图上读,否则增加了不必要的开销,查询受到干扰.为了加快视图的查询,MsSQL增加了视图索引的功能。 

       
34、没有必要时不要用DISTINCT和ORDER   BY,这些动作可以改在客户端执行。它们增加了额外的开销。这同UNION   和UNION   ALL一样的道理。   SELECT   top   20   ad.companyname,comid,position,ad.referenceid,worklocation,   convert(varchar(10),ad.postDate,120)   as   postDate1,workyear,degreedescription   FROM   jobcn_query.dbo.COMPANYAD_query   ad   where   referenceID   in('JCNAD00329667','JCNAD132168','JCNAD00337748','JCNAD00338345','JCNAD00333138','JCNAD00303570',   'JCNAD00303569','JCNAD00303568','JCNAD00306698','JCNAD00231935','JCNAD00231933','JCNAD00254567',   'JCNAD00254585','JCNAD00254608','JCNAD00254607','JCNAD00258524','JCNAD00332133','JCNAD00268618',   'JCNAD00279196','JCNAD00268613')   order   by   postdate   desc 

       
35、在IN后面值的列表中,将出现最频繁的值放在最前面,出现得最少的放在最后面,减少判断的次数 

       
36、当用SELECT   INTO时,它会锁住系统表(sysobjects,sysindexes等等),阻塞其他的连接的存取。创建临时表时用显示申明语句,而不是 select   INTO.   drop   table   t_lxh   begin   tran   select   *   into   t_lxh   from   chineseresume   where   name   =   'XYZ'   --commit   在另一个连接中SELECT   *   from   sysobjects可以看到   SELECT   INTO   会锁住系统表,Create   table   也会锁系统表(不管是临时表还是系统表)。所以千万不要在事物内使用它!!!这样的话如果是经常要用的临时表请使用实表,或者临时表变量。 

       
37、一般在GROUP   BY   个HAVING字句之前就能剔除多余的行,所以尽量不要用它们来做剔除行的工作。他们的执行顺序应该如下最优:select   的Where字句选择所有合适的行,Group   By用来分组个统计行,Having字句用来剔除多余的分组。这样Group   By   个Having的开销小,查询快.对于大的数据行进行分组和Having十分消耗资源。如果Group   BY的目的不包括计算,只是分组,那么用Distinct更快 

       
38、一次更新多条记录比分多次更新每次一条快,就是说批处理好 

       
39、少用临时表,尽量用结果集和Table类性的变量来代替它,Table   类型的变量比临时表好 

       
40、在SQL2000下,计算字段是可以索引的,需要满足的条件如下: 

          a、计算字段的表达是确定的 
          b、不能用在TEXT,
Ntext,Image数据类型 
        c、必须配制如下选项   ANSI_NULLS  
=   ON,   ANSI_PADDINGS   =   ON,   ……. 

       
41、尽量将数据的处理工作放在服务器上,减少网络的开销,如使用存储过程。存储过程是编译好、优化过、并且被组织到一个执行规划里、且存储在数据库中的 SQL语句,是控制流语言的集合,速度当然快。反复执行的动态SQL,可以使用临时存储过程,该过程(临时表)被放在Tempdb中。以前由于SQL   SERVER对复杂的数学计算不支持,所以不得不将这个工作放在其他的层上而增加网络的开销。SQL2000支持UDFs,现在支持复杂的数学计算,函数的返回值不要太大,这样的开销很大。用户自定义函数象光标一样执行的消耗大量的资源,如果返回大的结果采用存储过程 

       
42、不要在一句话里再三的使用相同的函数,浪费资源,将结果放在变量里再调用更快 

       
43SELECT   COUNT(*)的效率教低,尽量变通他的写法,而EXISTS快.同时请注意区别:   select   count(Field   of   null)   from   Table   和   select   count(Field   of   NOT   null)   from   Table   的返回值是不同的。 

       
44、当服务器的内存够多时,配制线程数量   =   最大连接数+5,这样能发挥最大的效率;否则使用   配制线程数量 <最大连接数启用SQL   SERVER的线程池来解决,如果还是数量   =   最大连接数+5,严重的损害服务器的性能。 

       
45、按照一定的次序来访问你的表。如果你先锁住表A,再锁住表B,那么在所有的存储过程中都要按照这个顺序来锁定它们。如果你(不经意的)某个存储过程中先锁定表B,再锁定表A,这可能就会导致一个死锁。如果锁定顺序没有被预先详细的设计好,死锁很难被发现 

       
46、通过SQL   Server   Performance   Monitor监视相应硬件的负载   Memory:   Page   Faults   /   sec计数器如果该值偶尔走高,表明当时有线程竞争内存。如果持续很高,则内存可能是瓶颈。   Process: 

       
1%   DPC   Time   指在范例间隔期间处理器用在缓延程序调用(DPC)接收和提供服务的百分比。(DPC   正在运行的为比标准间隔优先权低的间隔)。   由于   DPC   是以特权模式执行的,DPC   时间的百分比为特权时间   百分比的一部分。这些时间单独计算并且不属于间隔计算总数的一部   分。这个总数显示了作为实例时间百分比的平均忙时。 
       
2%Processor   Time计数器 如果该参数值持续超过95%,表明瓶颈是CPU。可以考虑增加一个处理器或换一个更快的处理器。 
       
3%   Privileged   Time   指非闲置处理器时间用于特权模式的百分比。(特权模式是为操作系统组件和操纵硬件驱动程序而设计的一种处理模式。它允许直接访问硬件和所有内存。另一种模式为用户模式,它是一种为应用程序、环境分系统和整数分系统设计的一种有限处理模式。操作系统将应用程序线程转换成特权模式以访问操作系统服务)。   特权时间的   %   包括为间断和   DPC   提供服务的时间。特权时间比率高可能是由于失败设备产生的大数量的间隔而引起的。这个计数器将平均忙时作为样本时间的一部分显示。 
       
4%   User   Time表示耗费CPU的数据库操作,如排序,执行aggregate   functions等。如果该值很高,可考虑增加索引,尽量使用简单的表联接,水平分割大表格等方法来降低该值。   Physical   Disk:   Curretn   Disk   Queue   Length计数器该值应不超过磁盘数的1.5~2倍。要提高性能,可增加磁盘。   SQLServer:Cache   Hit   Ratio计数器该值越高越好。如果持续低于80%,应考虑增加内存。   注意该参数值是从SQL   Server启动后,就一直累加记数,所以运行经过一段时间后,该值将不能反映系统当前值。 
       
47、分析select   emp_name   form   employee   where   salary   >   3000   在此语句中若salary是Float类型的,则优化器对其进行优化为Convert(float,3000),因为3000是个整数,我们应在编程时使用3000.0而不要等运行时让DBMS进行转化。同样字符和整型数据的转换。

 

太厉害了.....

MS SQL Server查询优化方法
查询速度慢的原因很多,常见如下几种  

  1、没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷)  
  2、I/O吞吐量小,形成了瓶颈效应。  
  3、没有创建计算列导致查询不优化。  
  4、内存不足  
  5、网络速度慢  
  6、查询出的数据量过大(可以采用多次查询,其他的方法降低数据量)  
  7、锁或者死锁(这也是查询慢最常见的问题,是程序设计的缺陷)  
  8、sp_lock,sp_who,活动的用户查看,原因是读写竞争资源。  
  9、返回了不必要的行和列  
  10、查询语句不好,没有优化  

  可以通过如下方法来优化查询  

  1、把数据、日志、索引放到不同的I/O设备上,增加读取速度,以前可以将Tempdb应放在RAID0上,SQL2000不在支持。数据量(尺寸)越大,提高I/O越重要.  
  2、纵向、横向分割表,减少表的尺寸(sp_spaceuse)  
  3、升级硬件  
  4、根据查询条件,建立索引,优化索引、优化访问方式,限制结果集的数据量。注意填充因子要适当(最好是使用默认值0)。索引应该尽量小,使用字节数小的列建索引好(参照索引的创建),不要对有限的几个值的字段建单一索引如性别字段  
  5、提高网速;  
  6、扩大服务器的内存,Windows 2000和SQL server 2000能支持4-8G的内存。配置虚拟内存:虚拟内存大小应基于计算机上并发运行的服务进行配置。运行 Microsoft SQL Server? 2000 时,可考虑将虚拟内存大小设置为计算机中安装的物理内存的 1.5 倍。如果另外安装了全文检索功能,并打算运行 Microsoft 搜索服务以便执行全文索引和查询,可考虑:将虚拟内存大小配置为至少是计算机中安装的物理内存的 3 倍。将 SQL Server max server memory 服务器配置选项配置为物理内存的 1.5 倍(虚拟内存大小设置的一半)。  
  7、增加服务器CPU个数;但是必须明白并行处理串行处理更需要资源例如内存。使用并行还是串行程是MsSQL自动评估选择的。单个任务分解成多个任务,就可以在处理器上运行。例如耽搁查询的排序、连接、扫描和GROUP BY字句同时执行,SQL SERVER根据系统的负载情况决定最优的并行等级,复杂的需要消耗大量的CPU的查询最适合并行处理。但是更新操作UPDATE,INSERT, DELETE还不能并行处理。  
  8、如果是使用like进行查询的话,简单的使用index是不行的,但是全文索引,耗空间。 like 'a%' 使用索引 like '%a' 不使用索引用 like '%a%' 查询时,查询耗时和字段值总长度成正比,所以不能用CHAR类型,而是VARCHAR。对于字段的值很长的建全文索引。  
  9、DB Server 和APPLication Server 分离;OLTP和OLAP分离  
  10、分布式分区视图可用于实现数据库服务器联合体。联合体是一组分开管理的服务器,但它们相互协作分担系统的处理负荷。这种通过分区数据形成数据库服务器联合体的机制能够扩大一组服务器,以支持大型的多层 Web 站点的处理需要。有关更多信息,参见设计联合数据库服务器。(参照SQL帮助文件'分区视图')  

  a、在实现分区视图之前,必须先水平分区表  
  b、在创建成员表后,在每个成员服务器上定义一个分布式分区视图,并且每个视图具有相同的名称。这样,引用分布式分区视图名的查询可以在任何一个成员服务器上运行。系统操作如同每个成员服务器上都有一个原始表的复本一样,但其实每个服务器上只有一个成员表和一个分布式分区视图。数据的位置对应用程序是透明的。  

  11、重建索引 DBCC REINDEX ,DBCC INDEXDEFRAG,收缩数据和日志 DBCC SHRINKDB,DBCC SHRINKFILE. 设置自动收缩日志.对于大的数据库不要设置数据库自动增长,它会降低服务器的性能。 在T-sql的写法上有很大的讲究,下面列出常见的要点:首先,DBMS处理查询计划的过程是这样的:  

  1、 查询语句的词法、语法检查  
  2、 将语句提交给DBMS的查询优化器  
  3、 优化器做代数优化和存取路径的优化  
  4、 由预编译模块生成查询规划  
  5、 然后在合适的时间提交给系统处理执行  
  6、 最后将执行结果返回给用户其次,看一下SQL SERVER的数据存放的结构:一个页面的大小为8K(8060)字节,8个页面为一个盘区,按照B树存放。  

  12、Commit和rollback的区别 Rollback:回滚所有的事物。 Commit:提交当前的事物. 没有必要在动态SQL里写事物,如果要写请写在外面如: begin tran exec(@s) commit trans 或者将动态SQL 写成函数或者存储过程。  

  13、在查询Select语句中用Where字句限制返回的行数,避免表扫描,如果返回不必要的数据,浪费了服务器的I/O资源,加重了网络的负担降低性能。如果表很大,在表扫描的期间将表锁住,禁止其他的联接访问表,后果严重。  

  14、SQL的注释申明对执行没有任何影响  

  15、尽可能不使用光标,它占用大量的资源。如果需要row-by-row地执行,尽量采用非光标技术,如:在客户端循环,用临时表,Table变量,用子查询,用Case语句等等。游标可以按照它所支持的提取选项进行分类: 只进 必须按照从第一行到最后一行的顺序提取行。FETCH NEXT 是唯一允许的提取操作,也是默认方式。可滚动性 可以在游标中任何地方随机提取任意行。游标的技术在SQL2000下变得功能很强大,他的目的是支持循环。  

  有四个并发选项  

READ_ONLY:不允许通过游标定位更新(Update),且在组成结果集的行中没有锁。  

  OPTIMISTIC WITH valueS:乐观并发控制是事务控制理论的一个标准部分。乐观并发控制用于这样的情形,即在打开游标及更新行的间隔中,只有很小的机会让第二个用户更新某一行。当某个游标以此选项打开时,没有锁控制其中的行,这将有助于最大化其处理能力。如果用户试图修改某一行,则此行的当前值会与最后一次提取此行时获取的值进行比较。如果任何值发生改变,则服务器就会知道其他人已更新了此行,并会返回一个错误。如果值是一样的,服务器就执行修改。 选择这个并发选项OPTIMISTIC WITH ROW VERSIONING:此乐观并发控制选项基于行版本控制。使用行版本控制,其中的表必须具有某种版本标识符,服务器可用它来确定该行在读入游标后是否有所更改。  
  在 SQL Server 中,这个性能由 timestamp 数据类型提供,它是一个二进制数字,表示数据库中更改的相对顺序。每个数据库都有一个全局当前时间戳值:@@DBTS。每次以任何方式更改带有 timestamp 列的行时,SQL Server 先在时间戳列中存储当前的 @@DBTS 值,然后增加 @@DBTS 的值。如果某 个表具有 timestamp 列,则时间戳会被记到行级。服务器就可以比较某行的当前时间戳值和上次提取时所存储的时间戳值,从而确定该行是否已更新。服务器不必比较所有列的值,只需比较 timestamp 列即可。如果应用程序对没有 timestamp 列的表要求基于行版本控制的乐观并发,则游标默认为基于数值的乐观并发控制。  
  SCROLL LOCKS 这个选项实现悲观并发控制。在悲观并发控制中,在把数据库的行读入游标结果集时,应用程序将试图锁定数据库行。在使用服务器游标时,将行读入游标时会在其上放置一个更新锁。如果在事务内打开游标,则该事务更新锁将一直保持到事务被提交或回滚;当提取下一行时,将除去游标锁。如果在事务外打开游标,则提取下一行时,锁就被丢弃。因此,每当用户需要完全的悲观并发控制时,游标都应在事务内打开。更新锁将阻止任何其它任务获取更新锁或排它锁,从而阻止其它任务更新该行。  
  然而,更新锁并不阻止共享锁,所以它不会阻止其它任务读取行,除非第二个任务也在要求带更新锁的读取。滚动锁根据在游标定义的 SELECT 语句中指定的锁提示,这些游标并发选项可以生成滚动锁。滚动锁在提取时在每行上获取,并保持到下次提取或者游标关闭,以先发生者为准。下次提取时,服务器为新提取中的行获取滚动锁,并释放上次提取中行的滚动锁。滚动锁独立于事务锁,并可以保持到一个提交或回滚操作之后。如果提交时关闭游标的选项为关,则 COMMIT 语句并不关闭任何打开的游标,而且滚动锁被保留到提交之后,以维护对所提取数据的隔离。所获取滚动锁的类型取决于游标并发选项和游标 SELECT 语句中的锁提示。  
  锁提示 只读 乐观数值 乐观行版本控制 锁定无提示 未锁定 未锁定 未锁定 更新 NOLOCK 未锁定 未锁定 未锁定 未锁定 HOLDLOCK 共享 共享 共享 更新 UPDLOCK 错误 更新 更新 更新 TABLOCKX 错误 未锁定 未锁定 更新其它 未锁定 未锁定 未锁定 更新 *指定 NOLOCK 提示将使指定了该提示的表在游标内是只读的。  

  16、用Profiler来跟踪查询,得到查询所需的时间,找出SQL的问题所在;用索引优化器优化索引  

  17、注意UNion和UNion all 的区别。UNION all好  

  18、注意使用DISTINCT,在没有必要时不要用,它同UNION一样会使查询变慢。重复的记录在查询里是没有问题的  

  19、查询时不要返回不需要的行、列  

  20、用sp_configure 'query governor cost limit'或者SET QUERY_GOVERNOR_COST_LIMIT来限制查询消耗的资源。当评估查询消耗的资源超出限制时,服务器自动取消查询,在查询之前就扼杀掉。 SET LOCKTIME设置锁的时间  

 

 

1、因为之前没做过大数据处理项目,陆续在这里请教过不少类似的问题,很多大侠热心的帮助了我。
为了方便这里的大侠们了解,我尽量仔细的说明:
之前的三个帖子,比较新一点,回复过的大侠可以很快的了解我的问题所在:
http://topic.csdn.net/u/20090907/10/627bfeec-8bda-4d99-aded-e13435e7c4fe.html
http://topic.csdn.net/u/20090907/16/80f35fbd-3c6c-4ca0-80f7-d55806bf0ddf.html
http://topic.csdn.net/u/20090901/09/b3cd8e71-19be-4694-b43b-0e57cdf4bef2.html

2、针对举例的第二个贴子,为了方便描述,我在这里根据大侠的提议,提出我这边数据搜索的整个问题,分数100;如果系统允许的话,我可以加分数,这个系列问题困扰了我很久;本来我还在尝试用前面几楼提议的去优化,但是感觉真的怎么优化都不咋样····现在50多W的数据,搜索的时候已经很慢了,特别是关键字没有匹配的时候,会全表遍历2边,很慢。(一遍是获取相关总记录数:用于分页(用的是开源的AspNetPager),一遍是获取相关的记录)

3、简单介绍一下这个数据库和硬件,主要用来查询一些信息,目前50W左右数据,以后的话,至少是几百w的数据,甚至是上kw(这个目前先不考虑);存放的是独立托管的一台至强系列服务器,4核,4G内存。数据库和程序放开存放不同的盘符(也可以做到分开存放到2台服务器--如果效率会快的话);系统如果说要跟什么像,有点类似搜索引擎。

4、数据库表:相关的几张表简单描述: InfoTmp、InfoReal、KeyTmp、KeyReal、MyCounry、MyCategory、MyTopic
【InfoTmp】:用于存放临时数据,这些数据都是人工添加的,只有通过审核才会加入InfoReal表;
【InfoReal】:正式数据,用于前台显示;
【KeyTmp】:第3点说到有点类似搜索引擎,就是在这里,用户每搜索一次的关键字,会加入到这个KeyTmp,然后通过计划任务,每天24点,整理后(相同的关键字合并,统计数量;如果正式key表存在则加数量,不存在则新加记录)加入KeyReal;
【MyCounry、MyCategory、MyTopic】:分别存放的是国家,类别,主题信息。
表结构简单举例:
【InfoReal】
[CI_ID],[CI_CorpName],[Country_Continent],[Country_ID],[C_FatherID],[C_ChildID],[CI_MobilePhone],[CI_StateFlag],[CI_CreateTime],[CI_ModifyTime],[CI_ClickTimes],[CI_BuyTimes],[CI_Keywords],[CI_SearchKey]
,[topic_ID],[CI_Charge].......

主要问题所在的存放内容举例: 
----------------------------- 
CI_ID C_FatherID C_ChildID 
10024 1024,1025,1056, 1045,1088,1045,1054,1063, 
10025 1024,1025,1056, 1045,1088,1045,1054,1063, 

----------------------------- 
-----------------------------
【MyCategory】存放内容举例: C_FatherID:0表示为大类
C_ID C_FatherID 
1024 0  
1045 1024 
1054 1025 
-----------------------------
-----------------------------
【MyCounry】存放内容举例: Country_Continent:表示洲,1亚洲,2欧洲....
Country_ID Country_Continent
1024 1  
1045 2
1054 3
-----------------------------
-----------------------------
问题描述:最初的主表设计,信息对于类别(国家,类别,主题是唯一对应的),后来项目已经做好了,领导要求修改:一条信息可以属于多个小类别(也可以属于不同的大类)。于是我把InfoReal的[C_FatherID],[C_ChildID]都改为了字符型,存放的内容见上面内容举例。
再则,最初是没有C_FatherID和Country_Continent;最初数据搜索,都是选择一个大类,然后选择相关小类;国家也一样,先选择洲,然后选择具体国家;后来需求改变,改成了,可以选择1个洲或者多个国家(可以属于不同洲);1个大类或者多个小类(可以属于不同大类);同时还有主题,价格,排序等一些附加搜索条件...于是我陆续在这里请教了一些问题。最初因为项目结构都搞好了,我实在不想改动,后来结合大家的意见和搜索速度实在慢,感觉非常有必要改动。于是我开了这个帖子。

下面我贴出取数据列表的存储过程并做简单说明:

SQL code
   
ALTER PROCEDURE [ dbo ] . [ corpListRealUser ] -- Add the parameters for the stored procedure here @myContinent varchar ( 10 ), -- 传入洲的值 @myCountrys varchar ( 50 ), -- 传入国家的值;已处理成sql条件语句,后面说明 @myCategoryB varchar ( 10 ), -- 传入大类的值 @myCategorys varchar ( 50 ), -- 传入小类的值;已处理成sql条件语句,后面说明 @myTopic decimal , -- 传入主题的ID @myPriceL int , -- 传入价格范围的起始 @myPriceH int , -- 传入价格范围的终点 @myOrderType int , -- 传入排序类型(按时间,价格,点击量,购买量) @myOrderFlag int , -- 传入排序标志(升序还是降序) @mySerKeyword varchar ( 500 ), -- 传入关键字 @CI_StartRecordIndex int , -- 传入分页起始点 @CI_EndRecordIndex int -- 传入分页终结点 AS BEGIN -- SET NOCOUNT ON added to prevent extra result sets from -- interfering with SELECT statements. SET NOCOUNT ON ; -- Insert statements for procedure here declare @str varchar ( max ), @strOrder varchar ( 200 ) set @str = '' if @myTopic > 0 begin set @str = @str + ' and topic_ID= ' + rtrim ( @myTopic ) end if @myPriceH < 500 begin set @str = @str + ' and CI_Charge BETWEEN ' + rtrim ( @myPriceL ) + ' AND ' + rtrim ( @myPriceH ) end if @myContinent <> ' 0 ' begin set @str = @str + ' and Country_Continent= ' + rtrim ( @myContinent ) end if @myCountry <> ' 0 ' begin set @str = @str + @myCountrys end if @myCategoryB <> ' 0 ' begin set @str = @str + ' and C_FatherID= ' + rtrim ( @myCategoryB ) end if @myCategoryS <> ' 0 ' begin set @str = @str + @myCategorys end [ b ] -- 这里的myCountrys和myCategorys都已在前台程序处理成:and (charindex(',195,',','+InfoReal.C_ChildID)> 0
   
or charindex(',81,',','+InfoReal.C_ChildID)> 0 or charindex(',64,',','+InfoReal.C_ChildID)> 0-----这种语句,
   
结合我最上面举例到的三个帖子,大侠的给我建议是把charindex改为like;然后把or,改为union all模式-----因为语句的
   
问题,还有其他条件,改成union all我也是比较的懵,不太会改;然后第二个帖子提到了,结构问题,很关键,让我意识到
   
我不改结构,其实速度是无法改变慢的局面的。[/b] if @mySerKeyword <> '' begin set @str = @str + ' and (CI_SearchKey like '' % ' + @mySerKeyword + ' % '' ) ' end -- 以下部分是排序条件 set @strOrder = '' declare @orderPX varchar ( 10 ) if @myOrderFlag = 1 set @orderPX = ' asc ' else set @orderPX = ' desc ' if @myOrderType = 1 begin set @strOrder = @strOrder + ' order by CI_ModifyTime ' + @orderPX end else if @myOrderType = 2 begin set @strOrder = @strOrder + ' order by CI_Charge ' + @orderPX end else if @myOrderType = 3 begin set @strOrder = @strOrder + ' order by CI_ClickTimes ' + @orderPX end else if @myOrderType = 4 begin set @strOrder = @strOrder + ' order by CI_BuyTimes ' + @orderPX end else begin set @strOrder = @strOrder + ' order by CI_ModifyTime ' + @orderPX end -- 下面部分简单说明:1、infoReal表为了加快速度,最初关键字搜索匹配是跟CI_CorpName和CI_Keywords和CI_Profile
   
用or连接;后来加了CI_SearchKey这个字段,取值是把前面三个字段值结合,然后截取250个字符做的搜索关键字。
   
2、为了加快速度,我最大也只取600条数据;如果数据库匹配的数据多,速度是相对快点,如果没有匹配或者没有达到600
   
条,就会表全部扫描一遍(加上分页读取记录总数,相当于2边),速度就相对比较慢。3、搜索相关的条件字段我都有做索引,
   
CI_ID是主键唯一,聚集索引我是做在了CI_SearchKey这个字段上(就是搜索关键字)4、CI_StateFlag=1 or
   
CI_StateFlag=3这里我用了OR结构是不是索引也不起效果了??这个字段是用来判断数据是否在前台显示的判断标识符。 declare @sql varchar ( max ) set @sql = ' select * from (select top 600 row_number() over ( ' + rtrim ( @strOrder ) + ' ,CI_ID desc)as Row, CI_ID,CI_CorpName,CI_Profile,CI_StateFlag,CI_Charge,CI_ModifyTime,CI_ClickTimes,CI_BuyTimes
   
,Country_ID from TE_CorpInfoReal where (CI_StateFlag=1 or CI_StateFlag=3) ' + @str + ' ) t WHERE 1=1 AND Row BETWEEN ' + rtrim ( @CI_StartRecordIndex ) + ' AND ' + rtrim ( @CI_EndRecordIndex )
   
+ ' order by row ' exec ( @sql ) END



------------------------------------------------
------------------------------------------------
综上;我希望大虾们在尽量不改变需求下给个系列的修改建议,包括:硬件方面的建议【因为小公司,希望提建议到时候这个方面理性一点】;分页问题;表结构问题;数据搜索显示问题。(或者说向类似的这种需求,会怎么去设计相关的一系列内容)

我很诚恳地希望知道的大侠赐教,如果不太熟悉的人也可以一起研究学习下,我感觉这个是大数据处理必然遇到的问题。

 

 

 

看了太半天,还是效率问题,有分区表试试
操作如下

补充:
针对我自己54楼的回复:
1、回复里面的1.1,说到数据取600的问题,我那里只是说,第一次要全部搜索,我刚想了想,好像到最后一个条件前,那些条件的搜索都需要搜索全部符合的信息出来...有没有好的方法在这里也做点文章,以加快搜索速度...
2、回复里面的2,说到条件(包括关键字,大小类别,洲,国家,主题和对应的排序条件)--应该还有个价格范围的条件。
我简单的举例,语句是不是就变成了:
select * from (select * from (select * from (....)where ....) where ...)
类似这种模式?那去索引表的ID集合怎么写,两者都取符合的ID,然后取两者一样的ID集合吗?
再则去主表去匹配的时候怎么匹配?用IN操作??IN操作好像效率很低的吧

总之这个问题又回到了我之前的提问,呵呵,希望高手给个确实的 SQL语句例子


再次感谢所有回答的人,然后----继续等大侠的解答和建议········期待高手的出现

-------------------------------------------------------- 
-------------------------------------------------------- 
PS:请晚来的大侠,除了看下这个帖子外(因为帖子不允许更改),也看下这个帖子我的那些回复,因为针对大侠们的提议,我有针对的会更加详细的说明问题.这样方便大侠们了解我真正的需求,或者暴露我的问题所在。 
我的开发环境:Microsoft Visual Studio 2005(.NET) + MS SQL 2005 + WIN SERVER 2003 

 

谢谢你的仔细回帖。受益颇多。然后我发现了两个小问题再请教:
1、你说我存储过程没有or结构(不是指flag那个),其实有的。因为我的原帖SQL语句太长了,导致有部分要拉过去才能看到。我现在把它复制贴出来
这里的@myCountrys和@myCategorys都已在前台程序处理成:and (charindex(',195,',','+InfoReal.C_ChildID)> 0 or charindex(',81,',','+InfoReal.C_ChildID)> 0 or charindex(',64,',','+InfoReal.C_ChildID)> 0....-----这种语句(国家也类似Country_ID=1 or Country_ID=2....),结合我最上面举例到的三个帖子,大侠的给我建议是把charindex改为like;然后把or,改为union all模式-----因为语句的问题,还有其他条件,改成union all我也是比较的懵,不太会改;然后第二个帖子提到了,结构问题,很关键,让我意识到我不改结构,是无法改变慢的局面的。
我说的or是出现在这里的,其实很好理解,就是本来数据库一个字段存了多个类别集合,我去判断的时候只要一个类别符合就可以了,所以用到了or;那个时候就有人提议叫我用union all来避开or结构。所以我就比较懵了,这么多条件不知道怎么写了~~~~

2、就是既然确认是索引表速度快,那我就打算把类别和关键字都独立拆分出各一张索引表了。到时就用“=”去匹配了,所以索引可以做上;但是or结构这里还是无法避免的。是继续用or结构,还是怎么更好的组织SQL,请大侠再帮我看下。
--------------------------
然后根据大侠们的回答,特别是sbwwkmyd,我初步定出方案(有新的疑问请教)了。

1、把类别和关键字都拆分分别做独立的一张索引表

2、可能需要把类别和关键字做数据库分区(类别以大类区分,关键字以字母区分--这里又有个疑问,SQL会区别中文吗?因为关键字可能也有中文,我想的是直接以a,b,c,d这样做分区,中文会自动根据首字母拼字分到对应的字母上去吗????--如果不行,大侠有什么好提议吗?因为索引表的数据很容易上KW的)

3、是否需要把两个索引表存放为独立的数据库,以此存放到不同的物理盘符,加快读取速度??

4、我把类别和关键字拆分后:大类和小类是并列的,因为不冲突,数据属于某个小类,必定属于某个大类;关键字我根据之前的空格拆分。然后引发几个问题:

4.1、大类和小类、关键字需要做聚集索引不?还是非聚集索引,如果是聚集索引,大类和小类哪一个做聚集索引好

4.2、就是我前面提到的or的问题,我这里肯定有很多or的。传大类和洲的时候,就传一个,但是小类/国家/关键字的时候,就变成了

4.2.1:从类别索引表取:
select CI_ID from Index_Class where CI_ChildID=10024 or CI_ChildID=10025 or CI_ChildID=10026 or CI_ChildID=10027 or CI_ChildID=10056...(最多可以八个--这里要改为union all结构吗?因为有人说用or索引就无效了,索引无效,我索引表独立出来就做无用功了)

4.2.2:从主表取国家匹配数据:
select CI_ID from CI_InfoReal where Country_ID=10024 or Country_ID=10025 or Country_ID=10026 or Country_ID=10027 or Country_ID=10056...(最多可以八个)

4.2.3:还有就是关键字从关键字索引表取(那模式也变为多个匹配了,比如我传入'a d'):
select CI_ID from Index_SearchKey where CI_SearchKey = 'a d' or 
CI_SearchKey = 'a' or CI_SearchKey = 'd'

4.2.4:还有就是价格,一个是最高价格,一个是最低价格;从主表取:
select CI_ID from CI_InfoReal where CI_Charge BETWEEN '+rtrim(@myPriceL)+' AND '+rtrim(@myPriceH)

4.2.5: 还有主题(CI_Topic),标识符(CI_StateFlag),排序(...),分页(Row BETWEEN '+rtrim(@CI_StartRecordIndex)+' AND '+rtrim(@CI_EndRecordIndex) )
综上:就我总结的问题,请大侠们再看下,给个明示;然后请再帮我组织一下第四点列明的SQL语句要怎么合并写???



再次感谢所有回答和顶贴的人,然后----继续等大侠的解答和建议
-------------------------------------------------------- 
-------------------------------------------------------- 
PS:请晚来的大侠,除了看下这个帖子外(因为帖子不允许更改),也看下这个帖子我的那些回复,因为针对大侠们的提议,我有针对的会更加详细的说明问题.这样方便大侠们了解我真正的需求,或者暴露我的问题所在。 
我的开发环境:Microsoft Visual Studio 2005(.NET) + MS SQL 2005 + WIN SERVER 2003 

 

1.关于SearchKey这个,我打算另建关键字索引表
2.频率最高是指出现几率最大把,那应该是数据状态的标识符了,不过这个做聚集索引不合适的吧。然后我的聚集索引我帖子里面有说是建在了SearchKey上,当然这个是错误的,我已经知道。关键字是这个索引都没起效果。有人建议我还是建在CI_ID上,当然最初我是建立在这个上面的,后来改到了关键字上,如果是精确匹配的话,那个效果绝对好,可惜不是,所以我结合大侠们的提议,打算另建关键字和类别索引表。
3.top600没数据,还全表扫描,很好理解,我要取符合的600条数据,SQL就会根据条件去找,当他在前1000就找到了满足条件的600条数据,速度当然很快,但是当他前1000只找到599条,还差一条,他就会继续找下去,直到找足600条,假使满足条件的在最后一条或者没有,他不是要遍历一遍全表了,因为是模糊匹配,索引是无效的。

总之谢谢这位大侠的建议,但是你还是没仔细看我的问题,包括我的一些回答,应该说,问题有了很好的进展,我受益颇多,但是还没解决好这个问题。
请仔细看下我的一些回复,特别是112楼的我的回复。


再次感谢所有回答和顶贴的人,然后----继续等大侠的解答和建议 
-------------------------------------------------------- 
-------------------------------------------------------- 
PS:请晚来的大侠,除了看下这个帖子外(因为帖子不允许更改),也仔细看下这个帖子我的那些回复,因为针对大侠们的提议,我有针对的会更加详细的说明问题.这样方便大侠们了解我真正的需求,或者暴露我的问题所在。 
我的开发环境:Microsoft Visual Studio 2005(.NET) + MS SQL 2005 + WIN SERVER 2003 

 

谢谢你的回答。
针对你的第一个建议,可能是你没看下面的一些回复。我要建分区表的是对应的索引表,因为一条数据,对应的关键字平均15个,换句话50W条数据,拆分出关键字索引表的话,这个表的数据至少有750W条,加入数据变100W条,关键字索引表的数据就有1500W条----按照这个计算,是否需要分区表?!!!


在没得到完美解决方案前,我暂时不结贴,我已经在构建一台本地服务器,下个礼拜开始进行上面方法的调试。
然后希望针对我回复中一些大侠的针对性提出的问题能得到解答,好让我少走些弯路···

再次感谢所有回答和顶贴的人,然后----继续等大侠的解答和建议 
-------------------------------------------------------- 
-------------------------------------------------------- 
PS:请晚来的大侠,除了看下这个帖子外(因为帖子不允许更改),也仔细看下这个帖子我的那些回复,因为针对大侠们的提议,我有针对的会更加详细的说明问题.这样方便大侠们了解我真正的需求,或者暴露我的问题所在。 
我的开发环境:Microsoft Visual Studio 2005(.NET C#) + MS SQL 2005 + WIN SERVER 2003 

 

1、其实这个我也是很尴尬···相信大家都有这种尴尬,往往领导的一个想法,会颠覆整个项目。问题就是出在需求上,最初是没有多类别。最初的数据就是一条数据对应一个小类,同时数据表大类ID也不在数据表体现的,直接级联类别表的···
最初表的样子:
c_id[decimal],child_id[decimal]....
后来领导要求数据可以属于多个小类:
c_id[decimal],child_id[varchar(200)]....
接着领导又要求数据可以属于不同的大类,为了读取数据,故直接在数据表加入了大类ID集合
c_id[decimal],father_id[varchar(200)],child_id[varchar(200)].....
本来关键字只有100个单字节字符,后来变成250双字节字符了...
然后问题就慢慢变成这样了...(当前前提是我没有大数据处理经验也是很大的关系,不然我早调头,刚开始项目基本做好了,我实在不想改动,但是数据一多,数据慢的太明显了,于是有了这个帖子)

2、另外,能不能考虑设置一些默认的查询条件,让搜索的范围减少,然后再做处理。如果需要调整,再由用户修改查询条件。----因为本身主要就是数据搜索,单纯搜索范围减少会影响搜索结果,不符合本意。但我还是做了只搜索出符合600条的限制,本来这个是有效的,但是如果根据大家的建议,我修改的话,这个限制600我好像不知道写在哪里才有效果了,这个我有一个回复里面有详细说明。



我已经构建一台本地服务器,本来这个礼拜开始进行之前我说的方法的调试。但是又有新任务下来,暂时又搁浅了...
还是继续希望针对我回复中一些大侠的针对性提出的问题能得到解答,好让我少走些弯路···

再次感谢所有回答和顶贴的人,然后----继续等大侠的解答和建议
--------------------------------------------------------
--------------------------------------------------------
PS:请晚来的大侠,除了看下这个帖子外(因为帖子不允许更改),也仔细看下这个帖子我的那些回复,因为针对大侠们的提议,我有针对的会更加详细的说明问题.这样方便大侠们了解我真正的需求,或者暴露我的问题所在。
我的开发环境:Microsoft Visual Studio 2005(.NET C#) + MS SQL 2005 + WIN SERVER 2003

 

1、感谢提醒,max这个问题我本地已经改掉了,之前数据传入值因为需求变更一直增多,老是会截断数据,我偷懒暂时设置了MAX。
2、“还有聚集索引肯定要建的”--这个我也是知道的,只是在某个时期,我不确定建在什么字段上好了,我从最初的建立在CI_ID上,然后改到SEARCH_KEY上,最后又有人建议改到CI_ID上。
3、“一些搜索条件我个人觉得为了防止传入为空,直接在程序后台控制,,排序一样的.这样传入到sql中的有效sql查询语句都是有效语句。”--貌似我就是这样做的啊,传入类空的,我都没有写SQL语句,只操作真实传值的语句。

再次感谢所有回答和顶贴的人,我会不时的上来,一起讨论有意义的建议和回复;然后----继续等大侠的解答和建议。(如果我有好的解决方法也会发上来跟大家分享)
--------------------------------------------------------
--------------------------------------------------------
PS:请晚来的大侠,除了看下这个帖子外(因为帖子不允许更改),也仔细看下这个帖子我的那些回复,因为针对大侠们的提议,我有针对的会更加详细的说明问题和提出自己的想法.这样方便大侠们了解我真正的需求,或者暴露我的问题所在。
我的开发环境:Microsoft Visual Studio 2005(.NET C#) + MS SQL 2005 + WIN SERVER 2003

 

 

 

 

 

SQL code
   
高性能网站建设之 MS Sql Server数据库分区 什么是数据库分区? 数据库分区是一种对表的横向分割,Sql server 2005企业版和之后的Sql server版本才提供这种技术,这种对表的横向分
   
割不同于2000中的表分割,它对访问用户是透明的,用户并不会感觉的表被横向分割了。(2000中的表横向分割是建n个
   
表例如按时间建表每月一个表,表名不同,最后需要做一个大视图) 关于具体的如何做分区,请参考数据库分区演练http: // www.cnblogs.com / yukaizhao / archive / 2008 / 05 / 07 /
   
sql_partition_test.html 为什么要分区? 显而易见分区是为了提高数据库的读写性能,提高数据库的效率; 分区是否总是可以提高效率? 分区是一把双刃剑,并不总能提高效率,这和具体情况有关系。 之所以有分区技术,分区技术用的好的话可以提高性能,是因为一方面分区把一大块数据分成了n小块,这样查询的时候
   
很快定位到某一小块上,在小块中寻址要快很多;另一方面CPU比磁盘IO快很多倍,而硬件上又有多个磁盘,或者
   
是RAID(廉价磁盘冗余阵列),可以让数据库驱动CPU同时去读写不同的磁盘,这样才有可能可以提高效率。 分区在有些时候并不能提高读写效率,比如说我们经常看到的按照日期字段去分区MSDN例子,这个实例中是按照记录
   
的生成时间来分区的,把一年的数据分割成12个分区,每月一个。这样的分区导致分区并不能实现CPU同步写并提高写
   
入性能,因为在同一个时段CPU总是要写入到最新的那一个分区对应的磁盘中。另一个问题是:这样分区是否可以提高
   
读取性能呢?答案是不一定,要看根据什么字段来查询,如果是根据时间来查询,根据时间生成报表那么这种分区肯定
   
会提高查询的效率,但是如果是按照某个客户查询客户最近1年内的账单数据,这样数据分布到不同的分区上,这样的话
   
效率就不一定能提高了,这要看数据在同一个分区上连续分布的读性能高,还是CPU从几个磁盘上同步读取,然后在合并
   
数据的性能更高一些,这和读取数据的记录数也有关系。 如何分区?用什么字段做分区依据? 具体如何分区和涉及的业务有关系,要看业务上最经常的写入和读取操作是什么,然后再考虑分区的策略。 既然与具体业务相关,我们就假定一个业务环境,假如我们要做一个论坛,对论坛的帖子和回复表进行分区。 论坛中最常见的写操作是1)发帖 2 )回复帖子, 最常见的读操作是 1 ) 根据帖子id显示帖子详情和分页的帖子回复 2 ) 根据帖子版面帖子列表页根据版面id分页读取帖子列表数据 怎么分区更合适呢?现在还没有准确答案,我有两种可能的方案,写下来,大家讨论看看。 方案1. 根据帖子ID区域段分区( 1 - 300w一个分区、300w - 600w一个分区…),这样理论上可以提高帖子详细页的读
   
取速度,而对于写操作性能没有益处,对于根据版面id读取帖子列表页有可能有益 方案2. 根据版面id进行分区,这样对于写性能应该有提高,不同的分区对应不同的版面,当有两个版面同时有发帖回帖操
   
作时,有可能可以并发写。对于根据版面id获得帖子列表页数据也可以提高性能,而对于帖子详细信息页没有性能影响。 多大的数据量才需要分区? 这个问题我只能说一个内部标准,如果一张表的记录超过在超过1000w,并以每月百万的数据量增长,那就需要分区。
   
大家有不同的看法请回复讨论 关于具体的如何做分区,请参考数据库分区演练http: // www.cnblogs.com / yukaizhao / archive / 2008 / 05 / 07 /
   
sql_partition_test.html [ code=SQL ] 代码加注释,希望对初学者有用。 USE [ master ] GO if exists ( select * from sys.databases where name = ' Test_1 ' ) drop database Test_1 GO -- 创建新库,要演练分区所以我们会多创建两个文件组Test_A,Test_B,以便在后面的分区方案中使用。 CREATE DATABASE [ Test_1 ] ON PRIMARY ( NAME = N ' test_1 ' , FILENAME = N ' D:/sqldata/test_1.mdf ' , SIZE = 10240KB , MAXSIZE =
   
UNLIMITED, FILEGROWTH = 1024KB ), FILEGROUP [ test_A ] ( NAME = N ' Test_A ' , FILENAME = N ' D:/sqldata/test_A.ndf ' , SIZE = 1024KB , MAXSIZE =
   
UNLIMITED, FILEGROWTH = 1024KB ), FILEGROUP [ test_B ] ( NAME = N ' Test_B ' , FILENAME = N ' D:/sqldata/test_B.ndf ' , SIZE = 1024KB , MAXSIZE =
   
UNLIMITED, FILEGROWTH = 1024KB ) LOG ON ( NAME = N ' Test_log ' , FILENAME = N ' D:/sqldata/Test_log.ldf ' , SIZE = 7616KB , MAXSIZE =
   
2048GB , FILEGROWTH = 10 % ) COLLATE Chinese_PRC_CI_AS GO USE [ Test_1 ] GO -- 若分区函数存在则先drop掉 IF EXISTS ( SELECT * FROM sys.partition_functions WHERE name = N ' test_partition ' ) DROP PARTITION FUNCTION [ test_partition ] GO /**//* 创建分区函数给后面的分区方案使用,分区函数很简单就是指定一个范围确定在某个值为什么的时候放在那个分区上 */ -- 新建一个简单的分区函数,该函数以1000为界分两个区 create partition function test_partition( int ) AS RANGE LEFT FOR VALUES ( 1000 ) go /**//* 看分区方案是否存在,若存在先drop掉 */ IF EXISTS ( SELECT * FROM sys.partition_schemes WHERE name = N ' test_scheme ' ) DROP PARTITION SCHEME test_scheme GO -- 创建分区方案,分区方案需要指定一个分区函数,并指定在分区函数中分的区需要放在哪一个文件组上 create partition scheme test_scheme AS PARTITION [ test_partition ] TO (test_A,test_B) GO -- 创建分区表 if object_id ( ' student ' , ' U ' ) is not null drop table student; go create table student ( id int identity ( 1 , 1 ) not null , name varchar ( 10 ) not null , class int not null , grade int ) on test_scheme(class) -- 在此处指定该表要使用的分区方案,并将指定分区依据列 go -- 随便插入几条数据 insert into student values ( ' AQU ' , 10 , 100 ); -- 这条数据在A分区上 insert into student values ( ' AQU_边界 ' , 1000 , 89 ); -- 这边数据也在A分区上是个边界,因为我们上面在函
   
数中指定的是RANGE LEFT,所以1000在A分区上 insert into student values ( ' BQU ' , 1001 , 90 ); -- 这一条肯定是在B分区上了。 go -- 最后看看结果。$partition.分区函数(分区列)可以返回某一行所在的分区序号 select * ,分区序号 = $partition.test_partition(class) from student GO
 
1、你的意思也是建议,把类别拆分成独立值跟类别表唯一匹配。然后一个Info记录对应多条值存入单独的一张索引表。
CI_SearchKey根据27楼建议根据空格拆分多条记录存放在另外一张关键词索引表。
--我有疑问,请恕我懒一点,因为我把数据全部转成这样再修改相关程序等,也要耗费不少时间。我想保守点问下,这样的话,
就我的数据而言,一般一条数据会对应5个类别,15个关键词。

1.1、原本我取数据如果取到符合的我就直接最多取600条,有600以上匹配的速度还是可以的,就是没到600条的,会全表,
造成速度慢,我觉得这个方法也是提升速度的一个方法。但是用到这里来,我发现,我有必要在判断第一次对应索引值的时候,
我需要把数据全取出来,如果只取有限个,然后第二个条件再去取,搜索的数据量势必又减少(其实跟实际是不符合了--所以有
问题),可能是我SQL语句的方式不对;这里请知道的大侠告之怎么写?

1.2、这个SQL语句我也有点懵,就我想的SQL流程也有点疑问:先取出符合类别的;再在其中取出符合关键词的(或者两者颠
反:这两者那个先??因为类别传进来和关键词都可能是多个值,特别是类别,但是类别是数值型=匹配,关键词是字符型;不知
道这个哪个快有没有讲究,因为先快的缩小搜索范围,有利于整体效率)。对了在此之前,我可以先把国家和洲的范围给搜索出
来(可以针对主表操作)。整体来说,就这个流程语句应该怎样写?之前有位大些说用“or”索引要失效,建议我用"union all";
那这个语句应该怎么写了?貌似真的很长很长了,结合1.1的要求,希望哪位大侠给个例句。~~~

1.3、就是对这个方式的疑问,就是就现在来说50W的数据,拆分的话,类别索引表就变成250W的数据了,关键字索引表就
是750W的数据了。无形中搜索的数据量是大了很多,希望哪位大侠有确实经历给我个确定!!!~~

1.4、假如我用这个方式,我原先的主表仍旧保留C_FatherID、C_ChildID、CI_SearchKey信息,新数据加进去也继续存
这些字段。原则上说,只是数据表容量大了,对搜索影响大不大???


2、“在存储过程里面不要拼sql语句,除非你有把握,否则很容易出现安全问题.这种情况的效率可能比程序拼接传还差”您的意思
是我在外面把整个语句都拼接好,然后整条语句传进来,执行??
如果是的话,请哪位高人结合我的搜索问题,就当有两个对应的索引表(关键字索引表,类别索引表);条件(包括关键字,大
小类别,洲,国家,主题和对应的排序条件),给条详细的例句吧,因为这个SQL语句对我来说,已经相当的有难度了,麻烦啊~~~

综上:最好先有人告诉我这个模式是可行的;如果不确定,那哪位大侠针对这里的问题1指点我下SQL语句,我自己去整数据,
去尝试这个效率是否好...


再次感谢,然后----继续等大侠的解答和建议········ 

-------------------------------------------------------- 
-------------------------------------------------------- 
PS:请晚来的大侠,除了看下这个帖子外(因为帖子不允许更改),也看下这个帖子我的那些回复,因为针对大侠们的提议,
我有针对的会更加详细的说明问题.这样方便大侠们了解我真正的需求,或者暴露我的问题所在。
  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值