WEB Service 下实现大数据量的传输

转载 2007年09月25日 13:03:00
Vs2005里面的,查询12000条记录,设置RemotingFormat = SerializationFormat.Binary;
再序列化,通过WebService传输,客户端接收,再反序列化,确实效果大大的优于直接传送DataSet,不仅网络传输中如此,即使本机,性能改善也非常明显.

下面分别是WebService里面的方法和客户端反序列化取DataSet的方法.
1. 服务器上面取数据,填充数据集,转换为二进制格式.
 /**//// <summary>
    /// Method for users data query with binaryFormatter
    /// </summary>
    /// <param name="err"></param>
    /// <returns></returns>
    public byte[] BinaryUserSelect(ref string err)
    {
        ClearCommand();
        m_commandStringBuilder.Append("SELECT * FROM t_Users ;");
        DataSet dsResult = new DataSet();
        byte[] bArrayResult = null;
        try
        {                              
            dsResult = SqlHelper.ExecuteDataset(m_currentConnectionString, CommandType.Text, m_commandStringBuilder.ToString());
            // 上面都是取数据的,无需关心.二进制压缩数据集是下面一小段
            dsResult.RemotingFormat = SerializationFormat.Binary;
            MemoryStream ms = new MemoryStream();
            IFormatter bf = new BinaryFormatter();
            bf.Serialize(ms, dsResult);
            bArrayResult = ms.ToArray();
            ms.Close();
            // 
        }
        catch (Exception ee)
        {
            err = ee.ToString();
        }
        return bArrayResult;        
    }

2. 通过WebService把byte[]格式的数据发送到客户端,这里就是WebService自己的事情了,我们无需关心

3.客户端接收到byte[]格式的数据,对其进行反序列化,得到数据集,进行客户端操作.

/// <summary>
/// Get user data with Binary format
/// </summary>
/// <returns></returns>
public DataSet GetBinaryUserData()
{
    string err = "";
    byte[] bUserData = svc.ByteArrayUserSelect(ref err);
    if (err != "")
    {
        MessageBox.Show(err);
        err = "";
        return null;
    }
    // 反序列化的过程
    MemoryStream ms = new MemoryStream(bUserData);
    IFormatter bf = new BinaryFormatter();
    object obj = bf.Deserialize(ms);
    DataSet dsResult = (DataSet)obj;
    //
    ms.Close();
    return dsResult;
}


同样一台机器,手工生成12000条数据,在本地使用WebService分别读取、传输并在客户端显示数据集和byte[]格式的数据,前者平均时间2.3秒,后者平均时间为1.7秒,之间的差别仅在传输过程的格式,还有后者需要的序列化和反序列化的时间.本地WebService传输的差别尚且如此,通过网络传输的时间优化自然会更明显..

.net1.1下面微软提供的DataSetSurrogate开发包下载地址:http://support.microsoft.com/default.aspx?scid=kb;en-us;829740   DataSetSurrogate 在.net 2.0里自带
在.net1.1下的实现方式实例如下

在这里,有两种方式:可把序列化后的数据用文件形式保存在客户端硬盘;也可用Byte[]方式传回客户端,以下是代码。
web service 端(文件形式)

[WebMethod(Description = "循环获取远程DATASET")]
public void SurrogateReadTable(string TableName)
{
    //把DataSet通过Surrogate Class 序列化成 Binary Stream

    DataSet ds;
    ds = SqlHelper.ExecuteDataset(cnn, CommandType.Text, "select * from " + TableName);
    //实例化DataSetSurrogate,传取出的DATASET到构造函数里
    sds = new DataSetSurrogate(ds);
    //实例化二进制流
    BinaryFormatter bf = new BinaryFormatter();
    StreamWriter swDat;
    //写到本地一个文件里
    swDat = new StreamWriter(@"c:/output_surrogate_dataset.dat");
    bf.Serialize(swDat.BaseStream, sds);
    //这里可以知道序列化后的文件的大小
    long size = swDat.BaseStream.Length;
    swDat.Close();

}

客户端 

private void button1_Click(object sender, System.EventArgs e)
{
    label1.Text = DateTime.Now.ToString();

    button1.Enabled = false;
    //反序列化Binary Stream能通过Surrogate Class转换成 DataSet

    //从WEB SERVICE上读取方法
    svs.SurrogateRead("t_busdocbase");
    BinaryFormatter bf = new BinaryFormatter();
    StreamReader swDat;
    swDat = new StreamReader(@"c:/output_surrogate_dataset.dat");
    object o = bf.Deserialize(swDat.BaseStream);
    DataSet ds;
    sds = (DataSetSurrogate)o;
    ds = sds.ConvertToDataSet();
    dataGrid1.DataSource = ds.Tables[0];
    swDat.Close();
}


web service 端(Byte[]方式)

[WebMethod(Description = "获取业务资料远程DATASET")]
public byte[] SurrogateRead1()
{
    DataSet ds;
    ds = SqlHelper.ExecuteDataset(cnn, CommandType.Text, "select * from t_busdocbase");
    sds = new DataSetSurrogate(ds);
    MemoryStream s = new MemoryStream();
    BinaryFormatter bf = new BinaryFormatter();
    bf.Serialize(s, sds);

    byte[] e = s.ToArray();
    return e;

}


客户端   

private void button3_Click(object sender, System.EventArgs e)
{
    label1.Text = DateTime.Now.ToString();

    button3.Enabled = false;
    //*反序列化Binary Stream能通过Surrogate Class转换成 DataSet*/

    //从WEB SERVICE上读取方法


    byte[] bb = svs.SurrogateRead1();
    MemoryStream br = new MemoryStream(bb);
    BinaryFormatter bf = new BinaryFormatter();
    object o = bf.Deserialize(br);
    sds = (DataSetSurrogate)o;
    ds = sds.ConvertToDataSet();
    dataGrid1.DataSource = ds.Tables[0];

    br.Close();

}

我个人觉得用byte[]方式会安全些,毕竟不用在客户端产生文件,不用担心数据的安全。

在2.0 中对数据集序列化和反序列化的方法进行了一下简单的封装,使其可以得到重用的效果.见下面的类DatFormatter.

通过GetBinaryFormatData方法可以转换数据集为二进制,在服务器端使用,转换数据集格式。发送,客户端接收,得到二进制格式数据,使用RetrieveDataSet方法,反序列化,得到数据集,进行客户端操作。通过这些简单的操作(序列化和反序列化,将数据压缩),可以使数据集等体积庞大的对象在远程传递中的时间大大减少,并且可以减少网络中断等问题对程序的影响。


 

using System;
using System.IO;
using System.Data;
using System.Runtime.Serialization;
using System.Runtime.Serialization.Formatters.Binary;

namespace Common
{
    public class DataFormatter
    {
        private DataFormatter() { }
        /**//// <summary>
        /// Serialize the Data of dataSet to binary format
        /// </summary>
        /// <param name="dsOriginal"></param>
        /// <returns></returns>
        static public byte[] GetBinaryFormatData(DataSet dsOriginal)
        {
            byte[] binaryDataResult = null;
            MemoryStream memStream = new MemoryStream();
            IFormatter brFormatter = new BinaryFormatter();
            dsOriginal.RemotingFormat = SerializationFormat.Binary;

            brFormatter.Serialize(memStream, dsOriginal);
            binaryDataResult = memStream.ToArray();
            memStream.Close();
            memStream.Dispose();
            return binaryDataResult;
        }
        /**//// <summary>
        /// Retrieve dataSet from data of binary format
        /// </summary>
        /// <param name="binaryData"></param>
        /// <returns></returns>
        static public DataSet RetrieveDataSet(byte[] binaryData)
        { 
            DataSet dataSetResult = null;
            MemoryStream memStream = new MemoryStream(binaryData);
            IFormatter brFormatter = new BinaryFormatter();

            object obj = brFormatter.Deserialize(memStream);
            dataSetResult = (DataSet)obj;
            return dataSetResult;
        }
    }
}

WEB Service 下实现大数据量的传输

)直接返回DataSet对象  特点:通常组件化的处理机制,不加任何修饰及处理;  优点:代码精减、易于处理,小数据量处理较快;  缺点:大数据量的传递处理慢,消耗网络资源;  建议:当应用系...
  • cjf4cjf
  • cjf4cjf
  • 2016年11月21日 20:09
  • 83

WEB Service 下实现大数据量的传输

查询20000条记录,设置 RemotingFormat = SerializationFormat.Binary; 再序列化,通过WebService传输,客户端接收,再反序列化,确实效果大大的...
  • zz_mm
  • zz_mm
  • 2012年02月17日 11:01
  • 728

WebService下实现大数据量的传输

设置RemotingFormat = SerializationFormat.Binary;再序列化,通过WebService传输,客户端接收,再反序列化,确实效果大大的优于直接传送DataSet,不...

exp/expdp传输表空间和rman convert实现大数据量快速迁移

将Oracle数据库中某个用户迁移到另外一个库上,迁移的数据量大小约 120GB 。如果采用 expdp 导出的话时间会很长,再加上导出的 DMP 文件拷贝和 impdp 导入数据的时间,不能满足要求...
  • xyz846
  • xyz846
  • 2013年12月09日 22:05
  • 1283

WebService下实现大数据量的传输

设置RemotingFormat = SerializationFormat.Binary;再序列化,通过WebService传输,客户端接收,再反序列化,确实效果大大的优于直接传送DataSet,不...

采取web service传输超大数据(1)

采用web service传输超大数据   因为以前也没有做过相关的web service开发,对于Xfire也只是知道有这么一个框架。当然现在它已经变成apache基金会旗下的一个开源项目CXF。...

提高 Web Service 数据传输效率的基本方法

背景 Web Service 现如今已经成为 SOA 实现标准之一。很多公司已经或者正在参与到 Web Service 项目的实现和部署中。Web Service 的优点在于松散的处理异构系统之...

采取web service传输超大数据

采用web service传输超大数据   因为以前也没有做过相关的web service开发,对于Xfire也只是知道有这么一个框架。当然现在它已经变成apache基金会旗下的一个开源项目CX...

提高 Web Service 数据传输效率的基本方法

连接:http://www.ibm.com/developerworks/cn/webservices/0710_wangyun/index.html 原因分析          Web Serv...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:WEB Service 下实现大数据量的传输
举报原因:
原因补充:

(最多只允许输入30个字)