WEB Service 下实现大数据量的传输

最新推荐文章于 2024-07-02 03:27:10 发布
最新推荐文章于 2024-07-02 03:27:10 发布
阅读量1.5k 收藏 1
点赞数

）直接返回DataSet对象

 特点：通常组件化的处理机制，不加任何修饰及处理；

 优点：代码精减、易于处理，小数据量处理较快；

 缺点：大数据量的传递处理慢，消耗网络资源；

 建议：当应用系统在内网、专网（局域网）的应用时，或外网（广域网）且数据量在KB级时的应用时，采用此种模式。

  示例如下：

代码 
   
   

    
    

     
     

      
      [csharp] 
      
      view plain
      
       copy
      
      

      
       
     
     

    
    

    
    
  1. [WebMethod(Description ="直接返回 DataSet 对象。")]  
  2. public DataSet GetNorthwindDataSet()  
  3.    {  
  4. tring sql ="SELECT * FROM XT_TEXT";  
  5.       SqlConnection conn =new SqlConnection("Server=60.28.25.58;DataBase=s168593;user id=s168593;password=h0y+FeC*;");  
  6.        conn.Open();  
  7.         SqlDataAdapter dataadapter =new SqlDataAdapter(sql, conn);  
  8.       DataSet ds =new DataSet();  
  9.         dataadapter.Fill(ds, "XT_TEXT");  
  10.         conn.Close();  
  11. return ds;  
  12.     }  
  13.      

 

 客户程序调用方法：

代码
 
[csharp]  view plain  copy
  1. privatevoid button1_Click(object sender, EventArgs e){  
  2.   
  3. /com.dzbsoft.www是上面Web Service发布后的命名空间   
  4.  com.dzbsoft.www.Service1 ds =new com.dzbsoft.www.Service1();  
  5.  DateTime dtBegin = DateTime.Now; DataSet dataSet = ds.GetNorthwindDataSet();  
  6.  this.label1.Text =string.Format("耗时：{0}", DateTime.Now - dtBegin); binddata(dataSet);  

 （2） 返回DataSet对象用Binary序列化后的字节数组

  特点：字节数组流的处理模式；

   优点 ：易于处理，可以中文内容起到加密作用；
   缺点 ：大数据量的传递处理慢，较消耗网络资源； 
 
代码 
    
    
    

     
     

      
      

       
       [csharp] 
       
       view plain
       
        copy
       
       

       
        
      
      

     
     

     
     
  1. [WebMethod(Description ="返回 DataSet 对象用 Binary 序列化后的字节数组。")]  
  2.     publicbyte[] GetDataSetBytes()  
  3.     {  
  4.         DataSet dataSet = GetNorthwindDataSet();  
  5.         BinaryFormatter ser =new BinaryFormatter();  
  6.         MemoryStream ms =new MemoryStream();  
  7.         ser.Serialize(ms, dataSet);  
  8.         byte[] buffer = ms.ToArray();  
  9.         return buffer;  
  10. }  
 示例如下：

客户程序调用方法：

 

代码 
    
   
   

    
    

     
     

      
      [csharp] 
      
      view plain
      
       copy
      
      

      
       
     
     

    
    

    
    
  1. privatevoid button2_Click(object sender, EventArgs e)  
  2. {  
  3.     com.dzbsoft.www.Service1 ds =new com.dzbsoft.www.Service1();  
  4.     DateTime dtBegin = DateTime.Now;  
  5.     byte[] buffer = ds.GetDataSetBytes();  
  6.     BinaryFormatter ser =new BinaryFormatter();  
  7.     DataSet dataSet = ser.Deserialize(new MemoryStream(buffer)) as DataSet;  
  8.     this.label2.Text =string.Format("耗时：{0}", DateTime.Now - dtBegin) +""+ buffer.Length;  
  9.     binddata(dataSet);  
  10. }  

 

 

(3) 返回DataSetSurrogate对象用Binary序列化后的字节数组

 

特点 ：微软提供的开源组件；
                  下载地址：
                    http://support.microsoft.com/kb/829740/zh-cn
优点 ：易于处理，可以中文内容起到加密作用；
缺点 ：大数据量的传递处理慢，较消耗网络资源；
示例如下：

代码 
    
   
   

    
    

     
     

      
      [csharp] 
      
      view plain
      
       copy
      
      

      
       
     
     

    
    

    
    
  1. [WebMethod(Description ="返回 DataSetSurrogate 对象用 Binary 序列化后的字节数组。")]  
  2. publicbyte[] GetDataSetSurrogateBytes()  
  3.     {  
  4.         DataSet dataSet = GetNorthwindDataSet();  
  5.         DataSetSurrogate dss =new DataSetSurrogate(dataSet);  
  6.       BinaryFormatter ser =new BinaryFormatter();  
  7.        MemoryStream ms =new MemoryStream();  
  8.         ser.Serialize(ms, dss);  
  9. byte[] buffer = ms.ToArray();  
  10. eturn buffer;  
  11. }  
  12.      

   
   

 
  客户程序调用方法：

 

 

代码 
    
   
   

    
     
    
    

     
     

      
      

       
       [csharp] 
       
       view plain
       
        copy
       
       

       
        
      
      

     
     

     
     
  1. privatevoid button3_Click(object sender, EventArgs e)  
  2.   
  3.     com.dzbsoft.www.Service1 ds =new com.dzbsoft.www.Service1();  
  4.     DateTime dtBegin = DateTime.Now;  
  5. byte[] buffer = ds.GetDataSetSurrogateBytes();  
  6.    BinaryFormatter ser =new BinaryFormatter();  
  7.      DataSetSurrogate dss = ser.Deserialize(new MemoryStream(buffer)) as DataSetSurrogate;  
  8.      DataSet dataSet = dss.ConvertToDataSet();  
  9. this.label3.Text =string.Format("耗时：{0}", DateTime.Now - dtBegin) +""+ buffer.Length;  
  10.     binddata(dataSet);  
  11. }  
  12.       

    
    

 

(4)返回DataSetSurrogate对象用Binary序列化并Zip压缩后的字节数组

  特点：对字节流数组进行压缩后传递；
 优点：当数据量大时，性能提高效果明显，压缩比例大；
 缺点：相比第三方组件，压缩比例还有待提高；
 建议：当系统需要进行大数据量网络数据传递时，建议采用此种可靠、高效、免费的方法。  

 

示例如下：
代码 
    
   
   

    
       
    
    

     
     

      
      

       
       [csharp] 
       
       view plain
       
        copy
       
       

       
        
      
      

     
     

     
     
  1. [WebMethod(Description ="返回 DataSetSurrogate 对象用 Binary 序列化并 Zip 压缩后的字节数组。")]  
  2.     publicbyte[] GetDataSetSurrogateZipBytes()  
  3.     {  
  4.         DataSet dataSet = GetNorthwindDataSet();  
  5.         DataSetSurrogate dss =new DataSetSurrogate(dataSet);  
  6.         BinaryFormatter ser =new BinaryFormatter();  
  7.         MemoryStream ms =new MemoryStream();  
  8.         ser.Serialize(ms, dss);  
  9.         byte[] buffer = ms.ToArray();  
  10.         byte[] zipBuffer = Compress(buffer);  
  11.         return zipBuffer;  
  12.    }  
  13.   
  14.     publicbyte[] Compress(byte[] data)  
  15.     {  
  16.         try  
  17.         {  
  18.             MemoryStream ms =new MemoryStream();  
  19.             Stream zipStream =null;  
  20.             zipStream =new GZipStream(ms, CompressionMode.Compress, true);  
  21.             zipStream.Write(data, 0, data.Length);  
  22.             zipStream.Close();  
  23.             ms.Position =0;  
  24.             byte[] compressed_data =newbyte[ms.Length];  
  25.             ms.Read(compressed_data, 0, int.Parse(ms.Length.ToString()));  
  26.             return compressed_data;  
  27.         }  
  28.         catch  
  29.         {  
  30.             returnnull;  
  31.         }  
  32.     }  
  33. }  

  客户程序调用方法：

代码 
    
   
   

    
     
    
    

     
     

      
      

       
       [csharp] 
       
       view plain
       
        copy
       
       

       
        
      
      

     
     

     
     
  1. privatevoid button4_Click(object sender, EventArgs e)  
  2.   {  
  3.       com.dzbsoft.www.Service1 ds =new com.dzbsoft.www.Service1();  
  4.       DateTime dtBegin = DateTime.Now;  
  5.   byte[] zipBuffer = ds.GetDataSetSurrogateZipBytes();  
  6.   byte[] buffer = UnZipClass.Decompress(zipBuffer);  
  7.       BinaryFormatter ser =new BinaryFormatter();  
  8.       DataSetSurrogate dss = ser.Deserialize(new MemoryStream(buffer)) as DataSetSurrogate;  
  9.       DataSet dataSet = dss.ConvertToDataSet();  
  10.  this.label4.Text =string.Format("耗时：{0}", DateTime.Now - dtBegin) +""+ zipBuffer.Length;  
  11.      binddata(dataSet);  
  12.  }  
  13.    private void binddata(DataSet dataSet)      {    

    
    

    
    

     
     

      
      

       
       [csharp] 
       
       view plain
       
        copy
       
       

       
        
      
      

     
     

     
     
  1. this.dataGridView1.DataSource = dataSet.Tables[0];   

    
    

    
    

     
     

      
      

       
       [csharp] 
       
       view plain
       
        copy
       
       

       
        
      
      

     
     

     
     
  1. this.label5.Text = "共计：" + dataSet.Tables[0].Rows.Count + "条记录";    

    
    

    
    

     
     

      
      

       
       [csharp] 
       
       view plain
       
        copy
       
       

       
        
      
      

     
     

     
     
  1. }  

    
    

    
    
     
代码 
    
   
   

    
     
    
    

     
     

      
      

       
       [csharp] 
       
       view plain
       
        copy
       
       

       
        
      
      

     
     

     
     
  1. 客户端UnZipClass程序  
  2.  publicstaticclass UnZipClass  
  3. {  
  4. publicstaticbyte[] Decompress(byte[] data)  
  5.     {  
  6. try  
  7.         {  
  8.             MemoryStream ms =new MemoryStream(data);  
  9.             Stream zipStream =null;  
  10.             zipStream =new GZipStream(ms, CompressionMode.Decompress);  
  11. byte[] dc_data =null;  
  12.             dc_data = ExtractBytesFromStream(zipStream, data.Length);  
  13. return dc_data;  
  14.         }  
  15. catch  
  16.         {  
  17. returnnull;  
  18.         }  
  19.     }  
  20. publicstaticbyte[] ExtractBytesFromStream(Stream zipStream, int dataBlock)  
  21.     {  
  22. byte[] data =null;  
  23. int totalBytesRead =0;  
  24. try  
  25.         {  
  26. while (true)  
  27.             {  
  28.                 Array.Resize(ref data, totalBytesRead + dataBlock +1);  
  29. int bytesRead = zipStream.Read(data, totalBytesRead, dataBlock);  
  30. if (bytesRead ==0)  
  31.                 {  
  32. break;  
  33.                 }  
  34.                 totalBytesRead += bytesRead;  
  35.             }  
  36.             Array.Resize(ref data, totalBytesRead);  
  37. return data;  
  38.         }  
  39. catch  
  40.         {  
  41. returnnull;  
  42.         }  
  43.     }  
  44. }  
  45.    
cjf4cjf
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
采用web service传输超大数据（2）
王星乐的博客
12-12 1026
xfire webservice传输超大数据的方式有两种： 1、使用DataHandler接口。 2、直接使用byte数组。
grpc传输大量数据python_python gRPC
weixin_39632379的博客
12-12 783
react_js.jpg最近在用 python 写项目，项目中有许多 AI 服务需要相互调用，为了服务之间的解耦合，想尝试采用 gRPC 来进行服务之间相互调用。之所以考虑采用 gRPC 这种方式来在不同服务之间传递数据，主要是出于对于性能有更高的要求的考虑。而且 AI 的服务需要传递大量的数据(图像数据)，而又希望不影响性能，所以最终想尝试采用 gRPC，具体来看一下 gRPC 是如何解决性能问...
WebService传递大数据的实现
09-09
WebService传递大数据的实现：SOAP扩展,xml数据压缩 soapheader
前端上传大型文件或超长数据的解决办法
最新发布
weixin_35732273的博客
07-02 35
前端上传大型文件或超长数据的解决办法，现在前端一般的方案都是HTML5，但是HTML5的缺点还是挻多的，第一就是兼容性比较差，不能支持IE，虽然chrome用的多，但是很多用户场景还在用IE。另外就是对大型文件支持的不够好，比如100G的文件上传和下载，之前我们技术部的同事用的HTML5 的分片方案，结果在用户环境中把用...
WebService下实现大数据量的传输
02-27 725
设置RemotingFormat = SerializationFormat.Binary;再序列化,通过WebService传输,客户端接收,再反序列化,确实效果大大的优于直接传送DataSet,不仅网络传输中如此,即使本机,性能改善也非常明显. 下面分别是WebService里面的方法和客户端反序列化取DataSet的方法. ...
web Service 传输 Dataset （大数据量）
bajiu8387的博客
03-18 179
对大数据量的 Dataset 进行序列化/压缩后进行传输。 参见： WebService传输DataSet的一点想法和实践 从WEB SERVICE 上返回大数据量的DATASET 从WEB SERVICE 上返回大数据量的DATASET 20090326,看到另外一篇文章：大数据量(16M)DataSet压缩方法比较 转载于:https://www.cnblo...
asp.net Web Service 接口大量数据传输解决方案
10-29
通过以上的方法，可以有效提高*** Web Service接口处理大量数据传输的效率，减少响应时间，提升用户体验。然而，需要注意的是，使用多线程虽然能够提高效率，但也增加了程序设计的复杂性，特别是在线程同步和数据...
如何通过Web_Service_实现断点续传或下载文件.doc
12-22
本文将深入探讨如何利用Web Service实现文件的断点续传和下载功能，这对于大型文件传输尤其重要，因为它提高了效率并减少了网络资源的浪费。 ### 1. Web Service和断点续传 **1.1. Web Service** Web Service是一...
Web Service在构建连锁企业数据仓库系统中的应用
01-25
数据访问接口（WebService API）是作为Web环境下分布式数据传输系统的一部分，提供统一的远程数据同步与访问能力。 WebService技术是基于Internet的网络服务，它能够使不同的应用程序通过网络进行交互。在连锁企业...
提高WebService性能大数据量网络传输处理
09-28
DataSetSurrogate对象用Binary序列化并Zip压缩后的字节数组 特点：对字节流数组进行压缩后传递； 优点：当数据量大时，性能提高效果明显，压缩比例大； 缺点：相比第三方组件，压缩比例还有待提高； 建议：当系统需要进行大数据量网络数据传递时，建议采用此种可靠、高效、免费的方法。
怎样提高WebService性能大数据量网络传输处理(转)
51编程
02-26 1369
1.    直接返回DataSet对象 特点：通常组件化的处理机制，不加任何修饰及            处理；优点：代码精减、易于处理，小数据量处理较快；缺点：大数据量的传递处理慢，消耗网络资源；建议：当应用系统在内网、专网（局域网）的应用            时，或外网（广域网）且数据量在KB级时的            应用时，采用此种模式。 2.返回Dat
webservice用于大数据量传输的处理
dianmanzong3576的博客
11-30 160
http://blog.csdn.net/luckyxiyang/article/details/16821961 http://blog.csdn.net/cjf4cjf/article/details/53263509 转载于:https://www.cnblogs.com/lijinzhu7929/p/7927500.html
WebService处理大数据量数据
wang_cel的专栏
01-16 5728
WebService处理大数据量数据   修改配置可以在web.config中重新设置，如下：   httpRuntime是配置asp.net http运行时设置，以确定如何处理对asp.net应用程序的请求。 executionTimeout:表示允许执行请求的最大时间限制，单位为秒 maxRequestLength：指示 ASP.NET 支持的最大文件上载大小。
Javascript如何传递大数据传给Objective-C
意林的专栏
04-04 1832
Javascript与UIWebView交互，通常的做法是双方约定一个协议，如：protocol://function/params，在Javascript中用window.location.href = "protocol://function/params";来请求，然后UIWebview的delegate方法：- (BOOL)webView:(UIWebView *)webView sh
WebAssembly 数组传递（输出篇）
量子复合态的博客
09-24 4152
最近有一个项目需要以原生方式输出js数组，这里分类一些方法： 公共头部： #include <emscripten/val.h> #include <emscripten/bind.h> using namespace emscripten; *注意：在使用emscripten::val和emscripten::bind时，编译时要带上--bind参数 耗时对比...
webservice传输数据量较大的情况的解决方案
zunguitiancheng的专栏
11-16 5461
目前遇到的项目服务器端是java平台的，客户端是.net的，而且网络情况不定，所以服务器端采用webservice方式向客户端提供数据。 这样的情况下传输数据的量就成为影响性能的瓶颈之一。 刚开始我们针对某些返回数据量较大的方法采用gzip压缩，那么在客户端直接进行解压缩，由于不是重点直接上方法： ///  /// 对内容进行解压缩 ///  ///  ///  pub
Axis2 Web Service安全加强：Rampart实现传输加密详解
在Web服务安全领域，确保数据传输的安全性至关重要。 Axis2是Apache软件基金会开发的一个Web服务引擎，它提供了处理SOAP消息的能力。Rampart是Axis2的一个模块，专注于提供安全功能，如消息认证、加密和签名，以增强...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值