向数据库写入500M的数据的方案

向数据库写入500M的数据的方案

 

源代码下载地址： http://savefile.com/files/1941124

（注：本代码可以无偿使用，但希望您能发封邮件给我，至少让我知道你在使用它。另，对于程序中可能存在的 BUG ，我已经尽可能地减少，但我不对其造成的影响负责。如果您发现了 BUG ，请及时通知我，以便我改正它。）

 

有人说好象是不可能做到的，也是没有什么用处的。真的没有用么？那你当是解决一种变态的难题来看吧。我是用 C# 并基于 MS SQL2000 上开发，所以下面不比较其它数据库或平台上的解决办法。

一般而言，对于小的数据，比如图片， WORD 文档，如果不是很大，比如说 10M 以内，我们都可以使用 Microsoft Data Access Application Block for .NET( 简称 DAAB) 这个由微软提供的程序块来简化我们的程序。事实上对于 IMAGE/TEXT 类型的字段，我们可以通过写参数变量来读写这个字段。比如下面的代码：

string strSQL = " UPDATE DOC " +

             " SET [IMAGE] = @PHOTO " +

                " WHERE ID=1 ";

byte [] PhotoByte;

 

PhotoByte= SqlHelper.ImageToBytes(picBox.Image);

SqlParameter p = new SqlParameter("@PHOTO",SqlDbType.Image,PhotoByte.Length);

p.Value = PhotoByte;

SqlHelper.ExecuteNonQuery(strConn,CommandType.Text,strSQL,p);

就是先将你的数据读入一个 Byte 型的数组，然后将其作为一个参数传给 SQL 语句或者是一个过程。为了简化使用，我对 DAAB 进行了修改，增加了五个公用函数

public static byte[] ImageToBytes(System.Drawing.Image image) ；

public static System.Drawing.Image BytesToImage(byte[] Bytes)

public static byte[] StreamToBytes(System.IO.Stream stream)

public static void BytesToStream(byte[] Bytes, System.IO.Stream stream)

public static void DataReadToStream(SqlDataReader dataReader,System.IO.Stream stream)

 

它们的作用看名字就知道，用法也很简单，可以参考示例代码，不再一一阐述。使用它们你可以很方便地进行读写。接下来要说的是如何将超大型的数据写入数据库，当然你可以将数据分成很多小段，用上面的函数和 SqlHelper 固有的函数进行操作，虽然麻烦一点，但是是可以做到的。如果我想把它写到一个字段里，要如何做呢？你可以试试用上面的方法，一定会出现这样的问题，要么客户机的资源大大占用，要么数据库崩掉。而且在上传，下载期间什么都不能做

很显然，我们需要的是一个占用系统资源的方案。于是我想到了利用线程，并且分块进行读写。用事件来通知进行的情况。很快我写出了第一版，发现了一个问题，事件太占用时间了，因此我决定使用属性，主线程主动地读取该属性来了解情况，只保留了两个 End 事件。

在测试期间，发现上传 500M 的文件需要花费一定时间，因此又增加了一个中止线程的方法，如果你想放弃它可以用此方法。好了，费话少说，来看看这些东东

 

namespace SmallStoneSoft.ExpertLib.Data

{

    public class SqlHelperBLOB

{

public void ExecuteReadBLOB(System.IO.Stream stream,

string connectString,

string TableName,

string FieldName,

string WhereSQL,

params SqlParameter[] commandParams)

public void ExecuteWriteBLOB(System.IO.Stream stream,

string connectString,

string TableName,

string FieldName,

string WhereSQL,

params SqlParameter[] commandParams)

public void ExitWorking()

}

}

它们的作用就和名字一样。需要说明的是 WhereSQL 这个参数，就是你的查询条件，比如   ID=@MYID

还用几个事件

    public event System.EventHandler EndReadEvent;

    public event System.EventHandler EndWriteEvent;

    public event System.EventHandler ExitWorkingEvent;

它们是读写结束或者中断线程执行时发生。

我在我的机器上进行了测试，对一个 564M 的游戏安装包进行了读写，系统运行平稳，占用资源很少。

我的机器配置：

      CPU：C1.7

      内存： 512M

  操作系统： Winxp

数据库： SQL 2000 个人版

对了， TestDB 表的脚本是

CREATE TABLE [dbo].[DOC] (

    [ID] [int] IDENTITY (1, 1) NOT NULL ,

    [IMAGE] [image] NULL ,

    [DATA] [text] COLLATE Chinese_PRC_CI_AS NULL ,

    [NDATA] [ntext] COLLATE Chinese_PRC_CI_AS NULL

) ON [PRIMARY] TEXTIMAGE_ON [PRIMARY]

 

  经测试，不支持 NTEXT 格式的字段，只支持 IMAGE 及 TEXT 。