结合SQL Server全文检索对Word内容进行检索的三个方案

 

导读：除了利用office提供的API对word文档内容进行检索外，本文简要总结如何结合SQL Server的全文检索技术对Word文件的内容进行检索的三个方案。

一、结合Windows索引服务进行全文检索

方案摘要：

1. 改变文件存储时的文件名；

2. 配置索引服务器，并将索引服务器与MS SQL Server关联。

3. 修改SQL语句，将进行全文查询语句的内容加入查询条件中

一个详细的实例，参考这里：http://database.ctocio.com.cn/51/11440551.shtml

优点：可以独立对文件以目录方式物理存放，并且这些文件继续以doc格式存放。

缺点：只能读取，不能写入。

二、结合BLOB数据进行全文检索

方案摘要：将doc文件以BLOB数据格式varbinary(max)存放于数据库的表中，再对表进行全文检索。这是最为常见的一种方案了。

一个简单插入表的示例：

  
  

   
   --
   
   -----二进制文件查询示例
   
   
/*
   
   ********************3w@live.cn***************
   
   */
   
   

   
   Use
   
    Master

   
   Go
   
   

   
   IF
   
    
   
   EXISTS
   
    (
   
   SELECT
   
    name 
   
   FROM
   
    sys.databases 
   
   WHERE
   
    name 
   
   =
   
    N
   
   '
   
   BlobDataDemoDB
   
   '
   
   )

   
   DROP
   
    
   
   DATABASE
   
    BlobDataDemoDB

   
   GO
   
   


   
   USE
   
    Master

   
   GO
   
   

   
   CREATE
   
    
   
   DATABASE
   
    BlobDataDemoDB

   
   GO
   
   

   
   --
   
   ------启用全文检索
   
   
/*
   
   ********************3w@live.cn***************
   
   */
   
   

   
   execute
   
    sp_fulltext_database 
   
   '
   
   enable
   
   '
   
   

   
   go
   
   


   
   use
   
    blobDataDemoDB

   
   GO
   
   

   
   --
   
   创建一个包含BlOB列的表
   
   
/*
   
   ********************3w@live.cn***************
   
   */
   
   

   
   if
   
    
   
   OBJECT_ID
   
   (
   
   '
   
   SampleBlobTable
   
   '
   
   ) 
   
   is
   
    
   
   not
   
    
   
   null
   
   

   
   drop
   
    
   
   table
   
    SampleBlobTable

   
   go
   
   


   
   CREATE
   
    
   
   TABLE
   
    SampleBlobTable
(

   
   [
   
   PKID
   
   ]
   
    
   
   int
   
    
   
   identity
   
   (
   
   1
   
   ,
   
   1
   
   ) 
   
   primary
   
    
   
   key
   
   ,

   
   [
   
   FileType
   
   ]
   
    
   
   Nvarchar
   
   (
   
   32
   
   ) 
   
   null
   
   ,

   
   [
   
   FileName
   
   ]
   
    
   
   Nvarchar
   
   (
   
   255
   
   ) 
   
   null
   
   ,

   
   [
   
   FileContent
   
   ]
   
    
   
   VARBINARY
   
   (
   
   MAX
   
   ) 
   
   NULL
   
   ,

   
   [
   
   AddTime
   
   ]
   
    
   
   datetime
   
    
   
   default
   
   (
   
   getdate
   
   ())
)

   
   GO
   
   


   
   IF
   
    
   
   EXISTS
   
    (
   
   SELECT
   
    
   
   *
   
    
   
   FROM
   
    sys.objects 
   
   WHERE
   
   
 
   
   object_id
   
    
   
   =
   
    
   
   OBJECT_ID
   
   (N
   
   '
   
   [dbo].[CPP_InsertOneBlobDataToTable]
   
   '
   
   ) 
   
   
AND
   
    type 
   
   in
   
    (N
   
   '
   
   P
   
   '
   
   , N
   
   '
   
   PC
   
   '
   
   ))

   
   DROP
   
    
   
   PROCEDURE
   
    
   
   [
   
   dbo
   
   ]
   
   .
   
   [
   
   CPP_InsertOneBlobDataToTable
   
   ]
   
   

   
   GO
   
   

   
   --
   
   创建一个插入数据到SQL server的存储过程
   
   
/*
   
   ********************3w@live.cn***************
   
   */
   
   

   
   CREATE
   
    
   
   PROCEDURE
   
    CPP_InsertOneBlobDataToTable
( 
   
   @FileType
   
    
   
   nvarchar
   
   (
   
   32
   
   ),

   
   @FileName
   
    
   
   nvarchar
   
   (
   
   255
   
   ),

   
   @FileContent
   
    
   
   VARBINARY
   
   (
   
   MAX
   
   )
)

   
   AS
   
   

   
   INSERT
   
    SampleBlobTable(
   
   [
   
   FileType
   
   ]
   
   ,
   
   [
   
   FileName
   
   ]
   
   ,
   
   [
   
   FileContent
   
   ]
   
   ,
   
   [
   
   AddTime
   
   ]
   
   )

   
   VALUES
   
    (
   
   @FileType
   
   ,
   
   @Filename
   
   ,
   
   @FileContent
   
   ,
   
   getdate
   
   ())

   
   GO
  
  

  
  

   
   using
   
    System; 

   
   using
   
    System.Collections.Generic; 

   
   using
   
    System.Linq; 

   
   using
   
    System.Text; 

   
   using
   
    System.IO; 

   
   using
   
    System.Data.SqlClient; 

   
   using
   
    System.Data; 


   
   namespace
   
    BlobDataSearchDemo 
{ 
    
   
   class
   
    Program 
    { 
        
   
   const
   
    
   
   string
   
    conn 
   
   =
   
    
   
   @"
   
   Server=ap4\Agronet09;DataBase=BlobDataDemoDB;uid=sa;pwd=as;
   
   "
   
   ; 
        
   
   static
   
    
   
   void
   
    Main(
   
   string
   
   [] args) 
        { 
            SaveDoc2SQLServer(
   
   @"
   
   D:\2008Data\StreamData\Doc\轻舞飞扬.doc
   
   "
   
   , conn); 
            SaveDoc2SQLServer(
   
   @"
   
   D:\2008Data\StreamData\Doc\天龙八部.doc
   
   "
   
   , conn); 
            SaveDoc2SQLServer(
   
   @"
   
   D:\2008Data\StreamData\Doc\English.doc
   
   "
   
   , conn); 

            Console.ReadKey(); 

        } 

        
   
   private
   
    
   
   static
   
    
   
   void
   
    SaveDoc2SQLServer(
   
   string
   
    filepath, 
   
   string
   
    conn) 
        { 
            FileInfo fi 
   
   =
   
    
   
   new
   
    FileInfo(filepath); 
            
   
   if
   
    (fi.Exists) 
            { 

                
   
   //
   
   Open the stream and read it back. 
   
   

   
                   
   
   using
   
    (FileStream fs 
   
   =
   
    File.OpenRead(filepath)) 
                { 
                    
   
   byte
   
   [] b 
   
   =
   
    
   
   new
   
    
   
   byte
   
   [fi.Length]; 
                    SqlConnection Conn; 
                    SqlCommand cmdUploadDoc; 
                    UTF8Encoding temp 
   
   =
   
    
   
   new
   
    UTF8Encoding(
   
   true
   
   ); 
                    
   
   while
   
    (fs.Read(b, 
   
   0
   
   , b.Length) 
   
   >
   
    
   
   0
   
   ) 
                    { 
                        Conn 
   
   =
   
    
   
   new
   
    SqlConnection(conn); 

                        
   
   //
   
   Setting the SqlCommand 
   
   

   
                 cmdUploadDoc 
   
   =
   
    
   
   new
   
    SqlCommand(
   
   "
   
   CPP_InsertOneBlobDataToTable
   
   "
   
   , Conn); 
              cmdUploadDoc.CommandType 
   
   =
   
    CommandType.StoredProcedure; 
              cmdUploadDoc.Parameters.Add(
   
   "
   
   @FileName
   
   "
   
   , SqlDbType.NVarChar, 
   
   200
   
   ).Value 
   
   =
   
    fi.Name; 
              cmdUploadDoc.Parameters.Add(
   
   "
   
   @FileContent
   
   "
   
   , SqlDbType.VarBinary, 
   
   0
   
   ).Value 
   
   =
   
   b; 
              cmdUploadDoc.Parameters.Add(
   
   "
   
   @FileType
   
   "
   
   , SqlDbType.NVarChar, 
   
   32
   
   ).Value 
   
   =
   
    
　　　　　　　　　　　　　　　　　　　　　　　　　　fi.Extension.Replace(
   
   "
   
   .
   
   "
   
   ,
   
   ""
   
   ); 
                        Conn.Open(); 
                        cmdUploadDoc.ExecuteNonQuery(); 
                        Conn.Close(); 
                    } 
                } 
            } 
        }  
    } 
}
  
  

查询结果：

注意：

1、在数据库设置全文检索时，必须有一个字段是文档类型，SQL Server全文检索依据此文档类型启动相应的doc引擎进行检索。

2、必须设置全文检索的语言，中文为2052，英文为1033。

优点：将doc文件导入SQL Server数据库中，可以方便地进行读取和全文检索，必要时也可以写入。

缺点：varbinary(Max)受2G大小限制，而且数据库存入大量的BLOB数据，将变得异常臃肿，检索速度将大大降低。

三、结合FileStream进行全文检索

方案摘要：与方案二类似，只不过利用FileStream技术将doc文件以数据格式varbinary(max)存放于数据库外的物理文件中，再对表进行全文检索。

前提：必须安装全文检索并启用FileStream

参考：

http://msdn.microsoft.com/zh-cn/library/bb933993.aspx

http://www.cnblogs.com/downmoon/archive/2010/05/06/1727546.html

http://www.cnblogs.com/downmoon/archive/2010/05/08/1730044.html

优点：将doc文件导入SQL Server数据库中，可以方便地进行读取和全文检索，必要时也可以写入，并且克服了方案二的缺点。varbinary(Max)字段只存放索引，而实际的内容存放于数据库外，大小只受NTFS文件夹物理大小的限制。

小结：本文简要总结如何结合SQL Server的全文检索技术对Word文件的内容进行检索的三个方案。本人认为方案一和方案三均可行。欢迎交流。