如何进行大文件传输？

本文首发微信公众号：码上观世界

网络文件传输的应用场景很多，如网络聊天的点对点传输、文件同步网盘的上传与下载、文件上传到分布式文件存储器等，其传输速度主要受限于网络带宽、存储器大小、CPU处理速度以及磁盘读写速度，尤其是网络带宽。本文主要讨论通常情况下数十GB规模大小的文件传输的优化方式，对于更大规模的文件容量建议考虑人工硬盘运输，毕竟基于公路运输的方式不仅带宽大而且成本低。

文件传输涉及到客户端、中间网络和服务器，常用的传输协议有HTTP(s)、(S)FTP和TCP（UDP）协议等，对于客户端用户来讲，能够起作用的地方不大，所以本文就两种基本的场景来讨论文件传输在客户端的优化方式：基于HTTP协议的非结构化文件传输和基于TCP协议的结构化文件传输。

基于HTTP协议的非结构化文件传输

最常用的文件上传是基于HTTP POST。观察浏览器的请求头数据可知，文件的二进制数据被置于请求body里面，也就是说在上传文件过程中，客户端是一次性将文件内容加载到内存，如果文件过大，浏览器很可能会崩溃，加上HTTP请求连接本身有超时时间限制，所以这种方式不适合传输大文件。

所以一种自然的方式就是手写符合规范的HTTP协议跟服务端通信：

上面的示例代码相比通过浏览器上传文件方式显得自由度更大，但是问题也更多，比如OutputStream将数据写入到PosterOutputStream内部缓冲区，而该缓冲区只有当调用HttpURLConnection的getInputStream方法之后才会发送到Socket流中。所以当文件过大（也许几十MB）就会导致内存溢出，即使通过调用flush方法也无济于事，因为PosterOutputStream的flush方法是空操作，什么都不干！幸运的是HttpURLConnection提供的setFixedLengthStreamingMode方法能够获取到自动刷新流缓存的StreamingOutputStream。虽然这种方式能够解决问题，但是还可能会遇到其他大大小小的坑，而且上述方式还是过于原始，使用Apache HttpClient能够轻易实现上述功能：

HttpClientBuilder httpClientBuilder = HttpClientBuilder.create();
httpClientBuilder.setDefaultCredentialsProvider(credsProvider);
RequestConfig requestConfig = RequestConfig.custom().setCookieSpec(CookieSpecs.DEFAULT).build();
CloseableHttpClient httpClient = httpClientBuilder.build();
File file = new File(filePath);
HttpPut httpPut = new HttpPut(url);
FileEntity fileEntity = new FileEntity(file);
httpPut.setEntity(fileEntity);
FileInputStream fileInputStream = new FileInputStream(file);
InputStreamEntity reqEntity = new InputStreamEntity(fileInputStream, file.