NET 2.0远程传输数据集的优化方法

原创 2007年10月15日 10:25:00
 由于当前维护的项目的结构是:Winform + Webservice,所以在数据传输过程中消耗了很多的性能,因此在寻找一种简便实用的优化方法.. 
   
    先是用BinaryFormatter序列化数据集,经过WebService传输后,客户端接收到byte[]格式的数据,再反序列化,得到数据集,这种方式,在网络传输时间延迟比较长的情况下效果比较明显,否则,序列化和反序列化再传输二进制的时间甚至超过了直接传送DataSet.所以是否采取这种二进制压缩数据集就没有多大意义了. 
   
    后来找到上面第一篇台湾同胞的文章,才发现在Vs2005的DataSet已经添加了一个RemotingFormat,是采用另外一种方式压缩的,(传说中.net1.1时期开源的DataSetSurrogate类)不过没有找到这个在什么地方下载,试了一下Vs2005里面的,查询12000条记录,设置RemotingFormat 
= SerializationFormat.Binary; 
   
    再序列化,通过WebService传输,客户端接收,再反序列化,确实效果大大的优于直接传送DataSet,不仅网络传输中如此,即使本机,性能改善也非常明显. 
   
    下面分别是WebService里面的方法和客户端反序列化取DataSet的方法. 
   
    
1. 服务器上面取数据,填充数据集,转换为二进制格式. 
   
  
/**//**//**//// <summary> 
  
/// Method for users data query with binaryFormatter 
  
/// </summary> 
  
/// <param name="err"></param> 
  
/// <returns></returns> 

  public byte[] BinaryUserSelect(ref string err) 
  
...
   ClearCommand(); 
   m_commandStringBuilder.Append(
"SELECT * FROM t_Users ;"); 
   DataSet dsResult 
= new DataSet(); 
   
byte[] bArrayResult = null
   
try 
   
...
    dsResult 
= SqlHelper.ExecuteDataset(m_currentConnectionString, CommandType.Text, m_commandStringBuilder.ToString()); 
    
// 上面都是取数据的,无需关心.二进制压缩数据集是下面一小段 
    dsResult.RemotingFormat = SerializationFormat.Binary; 
    MemoryStream ms 
= new MemoryStream(); 
    IFormatter bf 
= new BinaryFormatter(); 
    bf.Serialize(ms, dsResult); 
    bArrayResult 
= ms.ToArray(); 
    ms.Close(); 
    
// 
   }
 
   
catch (Exception ee) 
   
...
    err 
= ee.ToString(); 
   }
 
   
return bArrayResult; 
  }
 
   
    
2. 通过WebService把byte[]格式的数据发送到客户端,这里就是WebService自己的事情了,我们无需关心 
   
    
3.客户端接收到byte[]格式的数据,对其进行反序列化,得到数据集,进行客户端操作. 
   
  
/**//**//**//// <summary> 
  
/// Get user data with Binary format 
  
/// </summary> 
  
/// <returns></returns> 

  public DataSet GetBinaryUserData() 
  
...
   
string err = ""
   
byte[] bUserData = svc.ByteArrayUserSelect(ref err); 
   
if (err != ""
   
...
    MessageBox.Show(err); 
    err 
= ""
    
return null
   }
 
   
// 反序列化的过程 
   MemoryStream ms = new MemoryStream(bUserData); 
   IFormatter bf 
= new BinaryFormatter(); 
   
object obj = bf.Deserialize(ms); 
   DataSet dsResult 
= (DataSet)obj; 
   
// 
   ms.Close(); 
   
return dsResult; 
  }
 
   
    同样一台机器,手工生成12000条数据,在本地使用WebService分别读取、传输并在客户端显示数据集和byte[]格式的数据,前者平均时间2.3秒,后者平均时间为1.7秒,之间的差别仅在传输过程的格式,还有后者需要的序列化和反序列化的时间.本地WebService传输的差别尚且如此,通过网络传输的时间优化自然会更明显.. 
   
    .net1.1下面微软提供的DataSetSurrogate开发包下载地址:http:
//support.microsoft.com/default.aspx?scid=kb;en-us;829740 
   
    对数据集序列化和反序列化的方法进行了一下简单的封装,使其可以得到重用的效果.见下面的类DatFormatter. 
   
    通过GetBinaryFormatData方法可以转换数据集为二进制,在服务器端使用,转换数据集格式。发送,客户端接收,得到二进制格式数据,使用RetrieveDataSet方法,反序列化,得到数据集,进行客户端操作。通过这些简单的操作(序列化和反序列化,将数据压缩),可以使数据集等体积庞大的对象在远程传递中的时间大大减少,并且可以减少网络中断等问题对程序的影响。 
   
  1
using System; 
  2
using System.IO; 
  3
using System.Data; 
  4
using System.Runtime.Serialization; 
  5
using System.Runtime.Serialization.Formatters.Binary; 
  
6 
  7
namespace Common 
  
8...
  
9 public class DataFormatter 
  
10 ...
  
11 private DataFormatter() ...{ } 
  
12 /**//**//**//// <summary> 
  13 /**//// Serialize the Data of dataSet to binary format 
  14 /**//// </summary> 
  15 /**//// <param name="dsOriginal"></param> 
  16 /**//// <returns></returns> 
  17 static public byte[] GetBinaryFormatData(DataSet dsOriginal) 
  
18 ...
  
19 byte[] binaryDataResult = null
  
20 MemoryStream memStream = new MemoryStream(); 
  
21 IFormatter brFormatter = new BinaryFormatter(); 
  
22 dsOriginal.RemotingFormat = SerializationFormat.Binary; 
  
23 
  
24 brFormatter.Serialize(memStream, dsOriginal); 
  
25 binaryDataResult = memStream.ToArray(); 
  
26 memStream.Close(); 
  
27 memStream.Dispose(); 
  
28 return binaryDataResult; 
  
29 }
 
  
30 /**//**//**//// <summary> 
  31 /**//// Retrieve dataSet from data of binary format 
  32 /**//// </summary> 
  33 /**//// <param name="binaryData"></param> 
  34 /**//// <returns></returns> 
  35 static public DataSet RetrieveDataSet(byte[] binaryData) 
  
36 ...
  
37 DataSet dataSetResult = null
  
38 MemoryStream memStream = new MemoryStream(binaryData); 
  
39 IFormatter brFormatter = new BinaryFormatter(); 
  
40 
  
41 object obj = brFormatter.Deserialize(memStream); 
  
42 dataSetResult = (DataSet)obj; 
  
43 return dataSetResult; 
  
44 }
 
  
45 }
 
  
46}
 
  
47 
 

Mina 2.0 如何调整并发效率

使用mina作为应用程序框架来处理站内的一些请求.但是发现一个问题,实际等待的请求数,比mina实际显示出来的请求要高. 取得mina目前正在handle的请求数:session.getSe...
  • cao478208248
  • cao478208248
  • 2014年10月31日 10:02
  • 1820

.NET多线程 传入参数与获取返回值

先看一下不需要传入参数的多线程例子:   例1          ThreadStart threadStart=new ThreadStart(Calculate);          T...
  • wangzhen199009
  • wangzhen199009
  • 2014年10月29日 21:39
  • 4246

ASP.NET比较常用的26个性能优化技巧

本篇文章主要介绍了”ASP.NET中常用的26个优化性能方法”,主要涉及到ASP.NET中常用的26个优化性能方法方面的内容,对于ASP.NET中常用的26个优化性能方法感兴趣的同学可以参考一下。1....
  • WuLex
  • WuLex
  • 2016年08月21日 12:41
  • 2540

以Post方法传输数据_JAVA

  • 2016年08月13日 11:25
  • 11KB
  • 下载

AjaxPro 通过js调用C#的方法并传输数据

  • 2009年09月18日 17:47
  • 38KB
  • 下载

Delphi实例分析:远程传输数据和文件

[摘要] 在Windows操作系统的平台上,WinSock是首选的网络编程接口,用于在网络上传输数据和交换信息,它构成了Windows操作系统进行网络编程的基础。对于编写网络应用程序来说,WinSoc...
  • beyondqd
  • beyondqd
  • 2011年11月07日 19:15
  • 2019

android 带header调用webservice接口,与.net交互,xml传输数据

这次项目,是关于小学生做试卷答题,但是后台没想到的是.net,需要用webservice  soap协议,如此一来,以往的OKGO啊,OKHttp啊等一些网络请求框架均不能使用了。 这种项目一般还确实...
  • qq_30548105
  • qq_30548105
  • 2017年10月25日 18:26
  • 283

Flex与.NET互操作(四):使用HttpService、URLReqeust和URLLoader加载/传输数据

ActionScript 3.0中提供的数据加载请求类主要是HTTPService,URLLoader和URLRequest,可以通过他们协同来完成数据加载和请求。下面我么便来看看这三个类是怎么来完成...
  • successlzh
  • successlzh
  • 2012年02月29日 18:16
  • 252

基于分布式学习的大规模网络入侵检测算法(pdf)摘 要: 计算机网络的高速发展,使处理器的速度明显低于骨干网的传输速度,这使得传统的入侵检测方法无法 应用于大规模网络的检测.目前,解决这一问题的有效办法是将海量数据分割成小块数据,由分布的处理节点并行理.这种分布式并行处理的难点是分割机制,为了不破坏数据的完整性,只有采用复杂的分割算法,这同时也使分割 模块成为检测系统新的瓶颈.为了克服这个问题,提出了分布式神经网络学习算法,并将其用于大规模网络入侵检 测.该算法的优点是,大数据集可被随机分割

  • 2009年06月10日 18:34
  • 598KB
  • 下载

工作流程管理系统ccflow向流程开始节点表单传输数据方法大全

ccflow向流程开始节点表单传输数据方法大全 在启动开始节点时,通常会向其发起点(流程的第一个点)传输一序列值,来减少用户的输入或者处理特定业务。下面把这些特定的方法总结汇总如下。 利用ur...
  • ccflow4
  • ccflow4
  • 2011年12月16日 23:06
  • 519
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:NET 2.0远程传输数据集的优化方法
举报原因:
原因补充:

(最多只允许输入30个字)