HttpURLConnection的流式输出的缺陷和解决方法

最新推荐文章于 2022-04-01 11:46:28 发布
最新推荐文章于 2022-04-01 11:46:28 发布
阅读量648 收藏 1
点赞数
分类专栏： java 文章标签： java

HttpURLConnection的流式输出的缺陷和解决方法

Post by 铁木箱子 in  Java on 2008-01-20 23:23.
点评一下  评论 (2)  阅读 (3,268)
[转载声明] 转载时必须标注：本文来源于铁木箱子的博客http://www.mzone.cc
[本文地址] 本文永久地址是： http://www.mzone.cc/article/198.html

      最近在用applet写文件上传控件的时候发现使用URLConnection来对服务器进行流式输出时的一些问题.我们通常要对服务器上的某个地址进行写流操作,那么我们一般的做法就是: 


      
      
  1. 
        
        
    
         
         URLConnection con 
         
         = 
         
         new 
         
         URL
         
         (
         
         "/test.do"
         
         ).
         
         openConnection
         
         (
         
         )
         
         ;  
        
        
  2. 
        
        
    
         
         con.
         
         setDoOutput
         
         (
         
         true
         
         )
         
         ; // 允许输出流,默认是false

      这样我们就获取一个到/test.do地址的HTTP连接了,我们打印con的class后发现其实是:sun.net.www.protocol.http.HttpURLConnection这个类,我们在写大数据流到服务器上时就会发现总是会出现OutOfMemoryError的错误,当然不同的机器上出现错误所对应的文件输出流的大小是不一样的.这个主要就是取决于本机的JVM的内存空间的大小了.出现OutOfMemoryError错误的主要原因就是:sun公司实现的HttpURLConnection的输出流是首先在本地内存进行缓存,然后再一次性输出的(在close操作时).我们可以追踪到sun自己的HttpURLConnection使用的OutputStream是sun.net.www.http.PosterOutputStream这个类,我们查看这个类的源码就会发现它是继承自ByteArrayOutputStream的,而且基本上这个类没有做任何事情,大家可以参看其源码.而我们的ByteArrayOutputStream则是每次将要输出的内容复制到一个byte数组中,从而导致的结果是将整个输出流全部存储在内存中，这样当我们输出流一大的时候就会出现内存不够用的情况.请看ByteArrayOutputStream的部分源码: 


      
      
  1. 
        
        
    
         
         public 
         
         synchronized 
         
         void write
         
         (
         
         int i
         
         )   
        
        
  2. 
        
        
    
         
         {   
        
        
  3. 
        
        
        
         
         int j 
         
         = count 
         
         + 
         
         1
         
         ;   
        
        
  4. 
        
        
        
         
         if
         
         (j 
         
         > buf.
         
         length
         
         ) 
         
         {   
        
        
  5. 
        
        
            
         
         byte abyte0
         
         [
         
         ] 
         
         = 
         
         new 
         
         byte
         
         [
         
         Math.
         
         max
         
         (buf.
         
         length 
         
         << 
         
         1, j
         
         )
         
         ]
         
         ;   
        
        
  6. 
        
        
            
         
         System.
         
         arraycopy
         
         (buf, 
         
         0, abyte0, 
         
         0, count
         
         )
         
         ;   
        
        
  7. 
        
        
    
         
                 buf 
         
         = abyte0
         
         ;   
        
        
  8. 
        
        
        
         
         }   
        
        
  9. 
        
        
    
         
             buf
         
         [count
         
         ] 
         
         = 
         
         (
         
         byte
         
         )i
         
         ;   
        
        
  10. 
        
        
    
         
             count 
         
         = j
         
         ;   
        
        
  11. 
        
        
    
         
         }   
        
        
  12. 
        
        
    
         
          
        
        
  13. 
        
        
    
         
         public 
         
         synchronized 
         
         void write
         
         (
         
         byte abyte0
         
         [
         
         ], 
         
         int i, 
         
         int j
         
         )   
        
        
  14. 
        
        
    
         
         {   
        
        
  15. 
        
        
        
         
         if
         
         (i 
         
         < 
         
         0 
         
         || i 
         
         > abyte0.
         
         length 
         
         || j 
         
         < 
         
         0 
         
         || i 
         
         + j 
         
         > abyte0.
         
         length 
         
         || i 
         
         + j 
         
         < 
         
         0
         
         ) 
         
         throw 
         
         new 
         
         IndexOutOfBoundsException
         
         (
         
         )
         
         ;   
        
        
  16. 
        
        
        
         
         if
         
         (j 
         
         == 
         
         0
         
         )  
         
         return
         
         ;   
        
        
  17. 
        
        
        
         
         int k 
         
         = count 
         
         + j
         
         ;   
        
        
  18. 
        
        
        
         
         if
         
         (k 
         
         > buf.
         
         length
         
         ) 
         
         {   
        
        
  19. 
        
        
            
         
         byte abyte1
         
         [
         
         ] 
         
         = 
         
         new 
         
         byte
         
         [
         
         Math.
         
         max
         
         (buf.
         
         length 
         
         << 
         
         1, k
         
         )
         
         ]
         
         ;   
        
        
  20. 
        
        
            
         
         System.
         
         arraycopy
         
         (buf, 
         
         0, abyte1, 
         
         0, count
         
         )
         
         ;   
        
        
  21. 
        
        
    
         
                 buf 
         
         = abyte1
         
         ;   
        
        
  22. 
        
        
        
         
         }   
        
        
  23. 
        
        
        
         
         System.
         
         arraycopy
         
         (abyte0, i, buf, count, j
         
         )
         
         ;   
        
        
  24. 
        
        
    
         
             count 
         
         = k
         
         ;   
        
        
  25. 
        
        
    
         
         }

      我们可以看到它是使用System.arraycopy的功能来将所有的输出流存放在一个数组中的.因此,在使用HttpURLConnection进行流式输出的时候如果输出流比较大,那么就该考虑使用其他方式了(当然,修改JVM的堆栈空间是一种方法,但是不可取). 

 

      这是我们直接使用java.net.HttpURLConnection类的相关方法来进行输出文件流,我们查看sun提供的HttpURLConnection的源码,会发现其默认是采用上面提高的PosterOutputStream类来进行缓冲输出的,即首先将所有的文件流在本地内存中进行缓存,等到输出结束执行close的时候一次性输出到服务器端.同时我们看到sun的HttpURLConnection中的getOutputStream()中有如下代码: 


      
      
  1. 
        
        
    
         
         if
         
         (streaming
         
         (
         
         )
         
         ) 
         
         {  
        
        
  2. 
        
        
        
         
         if
         
         (fixedContentLength 
         
         != 
         
         -
         
         1
         
         )   
        
        
  3. 
        
        
    
         
                 strOutputStream 
         
         = 
         
         new StreamingOutputStream
         
         (ps, fixedContentLength
         
         )
         
         ;   
        
        
  4. 
        
        
        
         
         else 
         
         if
         
         (chunkLength 
         
         != 
         
         -
         
         1
         
         )   
        
        
  5. 
        
        
    
         
                 strOutputStream 
         
         = 
         
         new StreamingOutputStream
         
         (
         
         new ChunkedOutputStream
         
         (ps, chunkLength
         
         ), 
         
         -
         
         1
         
         )
         
         ;   
        
        
  6. 
        
        
        
         
         return strOutputStream
         
         ;   
        
        
  7. 
        
        
    
         
         }

      其中strmeanming()方法是用来判断是否是流式的输出,其代码为:return fixedContentLength != -1 || chunkLength != -1;它的判断方法就是如果设置了输出流的固定长度或是设置了块的长度,那么将采用流式输出.因此,我们可以在输出的时候可以设置其长度来达到流式输出这样的效果.另外,StreamingOutputString类是sun提供的HttpURLConnection的内部类,继承自FilterOutputStream,而非ByteArrayOutputStream,所以不会在本地内存中进行缓存. 

 

      而jdk中的HttpURLConnection并没有提供设置流的固定长度或块输出的长度方法,所以我们需要显示的将new URL(“url”).openConnection()返回的URLConnection转换成sun的HttpURLConnection,从而我们就可以很方便的使用setFixedLengthStreamingMode方法来设置流的固定长度,那么也就会采用流式的输出了.那么也就不会出现OutOfMemoryError的错误了.另外,ChunkedOutputStream也是不会在本地进行缓存的,它是使用固定大小的数组来缓存输出流,等缓存满的时候就自动的调用基础流进行输出,这个主要是用在无法确定输出流的具体长度但是又不想在本地进行缓存时用到.同理,我们通过设置setChunkedStreamingMode就可以达到这样的效果,三种方式的代码如下: 

第1种方式:使用直接输出流的方式(已知输出流的长度)：


      
      
  1. 
        
        
    
         
         import 
         
         sun.net.www.protocol.http.HttpURLConnection
         
         ;  
        
        
  2. 
        
        
    
         
         ......  
        
        
  3. 
        
        
    
         
         HttpURLConnection con 
         
         = 
         
         (
         
         HttpURLConnection
         
         )
         
         new 
         
         URL
         
         (
         
         "url"
         
         ).
         
         openConnection
         
         (
         
         )
         
         ;  
        
        
  4. 
        
        
    
         
         con.
         
         setFixedLengthStreamingMode
         
         (输出流的固定长度
         
         )
         
         ;  
        
        
  5. 
        
        
    
         
         ......

第2种方式:使用直接输出流的方式(未知输出流的长度): 


      
      
  1. 
        
        
    
         
         import 
         
         sun.net.www.protocol.http.HttpURLConnection
         
         ;  
        
        
  2. 
        
        
    
         
         ......  
        
        
  3. 
        
        
    
         
         HttpURLConnection con 
         
         = 
         
         (
         
         HttpURLConnection
         
         )
         
         new 
         
         URL
         
         (
         
         "url"
         
         ).
         
         openConnection
         
         (
         
         )
         
         ;  
        
        
  4. 
        
        
    
         
         con.
         
         setChunkedStreamingMode
         
         (块的大小
         
         )
         
         ;  
        
        
  5. 
        
        
    
         
         ......

第3种方式:本地缓存后一次性输出: 


      
      
  1. 
        
        
    
         
         import 
         
         java.net.HttpURLConnection
         
         ;  
        
        
  2. 
        
        
    
         
         ......  
        
        
  3. 
        
        
    
         
         HttpURLConnection con 
         
         = 
         
         (
         
         HttpURLConnection
         
         )
         
         new 
         
         URL
         
         (
         
         "url"
         
         ).
         
         openConnection
         
         (
         
         )
         
         ;  
        
        
  4. 
        
        
    
         
         ......

      通过设置直接输出后,我传送文件的大小为200M的时候也不会出现OutOfMemoryError的错误,而之前使用第3种方式进行文件流输出的时候不到40M就出现了OutOfMemoryError的错误了. 

Java  HttpURLConnection, OutOfMemoryError
shadow67
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
JAVA通过HttpURLConnection 上传和下载文件的方法
08-29
JAVA通过HttpURLConnection上传和下载文件的方法 JAVA通过HttpURLConnection上传和下载文件的方法是非常有实用价值的，需要的朋友可以参考下。HttpURLConnection是一个Java类，用于从网络中读取数据或向网络中写入...
Android HttpURLConnection.getResponseCode()错误解决方法
01-06
导语：个人对网络连接接触的不多，在使用时自己发现一些问题，记录一下。... 解决方法： 方法1、网页返回内容不能是空； 方法2、不要用这个接口咯。 您可能感兴趣的文章:Android使用URLConnection提交请求的实现Androi
HttpUrlConnection使用时遇到的问题
mark_gsd的博客
02-25 3152
今天尝试了一下HttpUrlConnection的使用，碰到了一些问题： 1，浏览器能访问的网址，将其直接作为参数传入Url中也能访问，但是通过拼接的方式却访问不了了。找了好久的问题，发现通过get方式请求时在里面放入了空格，导致网址识别错误：http://192.168.191.3:8080/WebTest/OkHttpServlet?message=message=hello,welcome
HttpURLConnection getResponseCode()方法阻塞
热门推荐
海洋之心
06-04 1万+
近期Quartz抓取程序是不是会阻塞，一直以为是Quartz版本太低存在bug。今天又阻塞了，无法容忍了，开始找原因： 1、先从日志中找到了执行job的线程 “2016-06-03 23:45:12,579 [TOPST_Quartz_Worker-13]” 2、使用jstack命令查看线程堆栈 可见，问题出在HttpURLConnection的getResponseCode()方法上，
java.net.HttpURLConnection 踩坑经历
Atptro的博客
06-06 2384
java.net.HttpURLConnection 这个是java自带的网络库，接手项目后遇到了两个问题： 1.自动静默的重试 2.默认进行3XX跳转 自动静默的重试 这个查阅了一些资料发现，是java类库自带的bug，不过在2006设计者已经出了解决方案，只不过由于要兼容以前版本，并没有修改 java.net.HttpURLConnection 这个库的内部实现，只是增加了一个开关，可以人为选...
android中httpclient和HttpURLConnection优缺点和常见bug解决方法
小刚的专栏
11-07 1万+
官方意见： 1） apache httpclient高效稳定，但是维护成本高昂，故android 开发团队不愿意在维护该库而是转投更为轻便的httpurlconnection； 2） httpurlconnection比较轻便，灵活和易于扩展，它在2.2前存在这样一个BUG， 详见http://code.google.com/p/android/issues/detail?id=2939
java HttpURLConnection 发送文件和字符串信息
08-30
java HttpURLConnection 发送文件和字符串信息 java HttpURLConnection 是一种常用的网络通信协议，它可以用于发送文件和字符串信息。下面将详细介绍 java HttpURLConnection 发送文件和字符串信息的相关知识点。 ...
Java HttpURLConnection使用方法详解
08-28
Java HttpURLConnection 使用方法详解 Java HttpURLConnection 是 Java 中用于发送 HTTP 请求的类，通过使用 HttpURLConnection，可以发送 GET 请求和 POST 请求，並获取服务器的响应结果。下面是使用 Java ...
记由HttpUrlConnection的不同实现的底层差异引起的访问错误
hello____world_0109的博客
04-01 2638
即使设置了setRequestMethod(“GET”),在setDoOutput(true)的情况下也可能会被认为是POST请求，并且该情况与两个set方法的先后顺序无关。所以 在用HttpURLConnection发送GET请求时，一定要设置setDoOutput(false)
使用HttpURLConnection
To be a better man
07-24 433
首先获取到HttpURLConnection的实例,一般只需要new出一个URL的对象,并传入目标的网址,然后调用一下openConnection()方法即可. URL url = new URL("http://www.baidu.com"); HttpURLConnection connection = (HttpURLConnection) url.openConnection();
HttpURLConnection.getInputStream()阻塞及405错误
Terisadeng的博客
09-28 6490
后台使用http请求获取其他服务的数据，使用GET请求在url后面拼接参数发送请求。在本地编写对端的测试接口进行测试。每次代码走到HttpURLConnection对象的getInputStream()方法时都会阻塞，在测试接口内打的断点也没有走到，然后尝试通过浏览器直接输入url请求接口成功进入断点。。。 后来反复测试无意中将接收请求的接口内断点都去掉，http请求竟然执行成功。。。有没有大神...
用HttpUrlConnection解析读取数据
liya_xin的博客
07-29 2901
new Thread() {             public void run() {                 setWebsiteInfo("http://172.27.0.200/exam/index.php?m=Index&a=home");             };         }.start();     }     protected void
HttpURLConnection请求数据流的写入(write)和读取(read)
上善若水
12-20 1089
URLConnection类给应用程序和web资源之间架设起了通信的桥梁，这些web资源通常是通过url来标记的,本文将讲述如何使用HttpURLConnection来访问web页面(发送数据流)和读取数据流。 在Servlet中对于需要用post方式(get会暴露参数)写入参数的时候就用到了HttpURLConnection. 请求的Servlet，也可以写入main方法中进行测试 packag...
HttpURLConnection请求流式接口
最新发布
07-16
您可以使用`HttpURLConnection`类来发送HTTP请求，并处理流式接口的响应。下面是一个示例代码： ```java import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.net.HttpURLConnection; import java.net.URL; public class Main { public static void main(String[] args) { try { // 创建URL对象 URL url = new URL("http://example.com/streaming-api"); // 打开连接 HttpURLConnection connection = (HttpURLConnection) url.openConnection(); // 设置请求方法为GET connection.setRequestMethod("GET"); // 发送请求并获取响应码 int responseCode = connection.getResponseCode(); // 检查响应码 if (responseCode == HttpURLConnection.HTTP_OK) { // 获取输入流 BufferedReader reader = new BufferedReader(new InputStreamReader(connection.getInputStream())); // 读取响应数据 String line; while ((line = reader.readLine()) != null) { // 处理每行数据 System.out.println(line); } // 关闭输入流 reader.close(); } else { // 处理请求失败的情况 System.out.println("Request failed. Response code: " + responseCode); } // 断开连接 connection.disconnect(); } catch (IOException e) { e.printStackTrace(); } } } ``` 在上面的示例中，我们首先创建了一个URL对象，然后使用它打开一个连接。我们将请求方法设置为GET，并发送请求以获取流式接口的响应。如果响应码为200（HTTP_OK），我们将获取输入流并逐行读取数据进行处理。最后，我们关闭输入流并断开连接。 请将`http://example.com/streaming-api`替换为您要请求的实际URL。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值