Java 文件分块上传服务器端源代码

分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow

也欢迎大家转载本篇文章。分享知识,造福人民,实现我们中华民族伟大复兴!

                        本博客将介绍如何进行文件的分块上传。如果读者还想了解文件的“分块”下载相关内容可以去参考博客《 Java 服务器端支持断点续传的源代码【支持快车、迅雷】》。
        本文侧重介绍服务器端,客户端端请参考本篇博客的姊妹篇《 Java 文件分块上传客户端源代码》,关于分块上传的思想及其流程,已在该博客中进行了详细说明,这里不再赘述。

        直接上代码。接收客户端 HTTP 分块上传请求的 Spring MVC 控制器源代码如下:

@Controllerpublic class UploadController extends BaseController private static final Log log = LogFactory.getLog(UploadController.class); private UploadService uploadService; private AuthService authService; /**  * 大文件分成小文件块上传,一次传递一块,最后一块上传成功后,将合并所有已经上传的块,保存到File Server  * 上相应的位置,并返回已经成功上传的文件的详细属性. 当最后一块上传完毕,返回上传成功的信息。此时用getFileList查询该文件,  * 该文件的uploadStatus为2。client请自行处理该状态下文件如何显示。(for UPS Server)  *   */ @RequestMapping("/core/v1/file/upload"@ResponseBody public Object upload(HttpServletResponse response,   @RequestParam(value = "client_id", required = false) String appkey,   @RequestParam(value = "sig", required = false) String appsig,   @RequestParam(value = "token", required = false) String token,   @RequestParam(value = "uuid", required = false) String uuid,   @RequestParam(value = "block", required = false) String blockIndex,   @RequestParam(value = "file", required = false) MultipartFile multipartFile,   @RequestParam Map<String, String> parameters) {  checkEmpty(appkey, BaseException.ERROR_CODE_16002);  checkEmpty(token, BaseException.ERROR_CODE_16007);  checkEmpty(uuid, BaseException.ERROR_CODE_20016);  checkEmpty(blockIndex, BaseException.ERROR_CODE_20006);  checkEmpty(appsig, BaseException.ERROR_CODE_10010);  if (multipartFile == null) {   throw new BaseException(BaseException.ERROR_CODE_20020);// 上传文件不存在  }  Long uuidL = parseLong(uuid, BaseException.ERROR_CODE_20016);  Integer blockIndexI = parseInt(blockIndex, BaseException.ERROR_CODE_20006);    Map<String, Object> appMap = getAuthService().validateSigature(parameters);  AccessToken accessToken = CasUtil.checkAccessToken(token, appMap);  Long uid = accessToken.getUid();  String bucketUrl = accessToken.getBucketUrl();  // 从上传目录拷贝文件到工作目录  String fileAbsulutePath = null;  try {   fileAbsulutePath = this.copyFile(multipartFile.getInputStream(), multipartFile.getOriginalFilename());  } catch (IOException ioe) {   log.error(ioe.getMessage(), ioe);   throw new BaseException(BaseException.ERROR_CODE_20020);// 上传文件不存在  }  File uploadedFile = new File(Global.UPLOAD_TEMP_DIR + fileAbsulutePath);  checkEmptyFile(uploadedFile);// file 非空验证  Object rs = uploadService.upload(uuidL, blockIndexI, uid, uploadedFile, bucketUrl);  setHttpStatusOk(response);  return rs; } // TODO 查看下这里是否有问题 // 上传文件非空验证 private void checkEmptyFile(File file) {  if (file == null || file.getAbsolutePath() == null) {   throw new BaseException(BaseException.ERROR_CODE_20020);// 上传文件不存在  } } /**  * 写文件到本地文件夹  *   * @throws IOException  *             返回生成的文件名  */ private String copyFile(InputStream inputStream, String fileName) {  OutputStream outputStream = null;  String tempFileName = null;  int pointPosition = fileName.lastIndexOf(".");  if (pointPosition < 0) {// myvedio   tempFileName = UUID.randomUUID().toString();// 94d1d2e0-9aad-4dd8-a0f6-494b0099ff26  } else {// myvedio.flv   tempFileName = UUID.randomUUID() + fileName.substring(pointPosition);// 94d1d2e0-9aad-4dd8-a0f6-494b0099ff26.flv  }  try {   outputStream = new FileOutputStream(Global.UPLOAD_TEMP_DIR + tempFileName);   int readBytes = 0;   byte[] buffer = new byte[10000];   while ((readBytes = inputStream.read(buffer, 0, 10000)) != -1) {    outputStream.write(buffer, 0, readBytes);   }   return tempFileName;  } catch (IOException ioe) {   // log.error(ioe.getMessage(), ioe);   throw new BaseException(BaseException.ERROR_CODE_20020);// 上传文件不存在  } finally {   if (outputStream != null) {    try {     outputStream.close();    } catch (IOException e) {    }   }   if (inputStream != null) {    try {     inputStream.close();    } catch (IOException e) {    }   }  } } /**  * 测试此服务是否可用  *   * @param response  * @return  * @author zwq7978  */ @RequestMapping("/core/v1/file/testServer"@ResponseBody public Object testServer(HttpServletResponse response) {  setHttpStatusOk(response);  return Global.SUCCESS_RESPONSE; } public UploadService getUploadService() {  return uploadService; } public void setUploadService(UploadService uploadService) {  this.uploadService = uploadService; } public void setAuthService(AuthService authService) {  this.authService = authService; } public AuthService getAuthService() {  return authService; }}

        比如要上传的文件是 test450k.mp4。对照《 Java 文件分块上传客户端源代码》中分块上传服务器对分块文件参数定义的名字"file",upload 方法里使用的是 MultipartFile 接收该对象。对于每次的 HTTP 请求,使用 copyFile 方法将文件流输出到服务器本地的一个临时文件夹里,比如作者的是 D:/defonds/syncPath/uploadTemp,该文件下会有 50127019-b63b-4a54-8f53-14efd1e58ada.mp4 临时文件生成用于保存上传文件流。

        分块依次上传。当所有块都上传完毕之后,将这些临时文件都转移到服务器指定目录中,比如作者的这个目录是 D:/defonds/syncPath/file,在该文件夹下会有/1/temp_dir_5_1 目录生成,而 uploadTemp 的临时文件则被挨个转移到这个文件夹下,生成形如 5.part0001 的文件。以下是文件转移的源代码:

 /**  * 把所有块从临时文件目录移到指定本地目录或S2/S3  *   * @param preUpload  */ private void moveBlockFiles(BlockPreuploadFileInfo preUpload) {  @SuppressWarnings("unchecked")  String[] s3BlockUrl=new String[preUpload.getBlockNumber()];  String[] localBlockUrl=new String[preUpload.getBlockNumber()];//本地的块文件路径    以便以后删除  List<BlockUploadInfo> blocks = (List<BlockUploadInfo>) getBaseDao().queryForList(    "upload.getBlockUploadFileByUuid", preUpload.getUuid());      String tempDirName = SyncUtil.getTempDirName(preUpload.getUuid(), preUpload.getUid());  String parentPath = Global.UPLOAD_ABSOLUTE_PAHT_ + Global.PATH_SEPARATIVE_SIGN    + String.valueOf(preUpload.getUid());  String dirPath = parentPath + Global.PATH_SEPARATIVE_SIGN + tempDirName;  new File(dirPath).mkdirs();//创建存放块文件的文件夹 (本地)  int j=0;  for (BlockUploadInfo info : blocks) {   try {    String strBlockIndex = createStrBlockIndex(info.getBlockIndex());    String suffixPath = preUpload.getUuid() + ".part" + strBlockIndex;    String tempFilePath = info.getTempFile();    File tempFile = new File(tempFilePath);    File tmpFile = new File(dirPath + suffixPath);    if (tmpFile.exists()) {     FileUtils.deleteQuietly(tmpFile);    }    FileUtils.moveFile(tempFile, tmpFile);    localBlockUrl[j]=dirPath + suffixPath;    j++;    info.setStatus(Global.MOVED_TO_NEWDIR);    getBaseDao().update("upload.updateBlockUpload", info);    if (log.isInfoEnabled())     log.info(preUpload.getUuid() + " " + info.getBuId() + " moveBlockFiles");   } catch (IOException e) {    log.error(e.getMessage(), e);    throw new BaseException("file not found");   }  }  preUpload.setLocalBlockUrl(localBlockUrl);  preUpload.setDirPath(dirPath);  preUpload.setStatus(Global.MOVED_TO_NEWDIR);  getBaseDao().update("upload.updatePreUploadInfo", preUpload); } private String createStrBlockIndex(int blockIndex) {  String strBlockIndex;  if (blockIndex < 10) {   strBlockIndex = "000" + blockIndex;  } else if (10 <= blockIndex && blockIndex < 100) {   strBlockIndex = "00" + blockIndex;  } else if (100 <= blockIndex && blockIndex < 1000) {   strBlockIndex = "0" + blockIndex;  } else {   strBlockIndex = "" + blockIndex;  }  return strBlockIndex; }

        最后是文件的组装源代码:

 /**  * 组装文件  *   */ private void assembleFileWithBlock(BlockPreuploadFileInfo preUpload) {  String dirPath = preUpload.getDirPath();  // 开始在指定目录组装文件  String uploadedUrl = null;  String[] separatedFiles;  String[][] separatedFilesAndSize;  int fileNum = 0;  File file = new File(dirPath);  separatedFiles = file.list();  separatedFilesAndSize = new String[separatedFiles.length][2];  Arrays.sort(separatedFiles);  fileNum = separatedFiles.length;  for (int i = 0; i < fileNum; i++) {   separatedFilesAndSize[i][0] = separatedFiles[i];   String fileName = dirPath + separatedFiles[i];   File tmpFile = new File(fileName);   long fileSize = tmpFile.length();   separatedFilesAndSize[i][1] = String.valueOf(fileSize);  }  RandomAccessFile fileReader = null;  RandomAccessFile fileWrite = null;  long alreadyWrite = 0;  int len = 0;  byte[] buf = new byte[1024];  try {   uploadedUrl = Global.UPLOAD_ABSOLUTE_PAHT_ + Global.PATH_SEPARATIVE_SIGN + preUpload.getUid() + Global.PATH_SEPARATIVE_SIGN + preUpload.getUuid();   fileWrite = new RandomAccessFile(uploadedUrl, "rw");   for (int i = 0; i < fileNum; i++) {    fileWrite.seek(alreadyWrite);    // 读取    fileReader = new RandomAccessFile((dirPath + separatedFilesAndSize[i][0]), "r");    // 写入    while ((len = fileReader.read(buf)) != -1) {     fileWrite.write(buf, 0, len);    }    fileReader.close();    alreadyWrite += Long.parseLong(separatedFilesAndSize[i][1]);   }   fileWrite.close();   preUpload.setStatus(Global.ASSEMBLED);   preUpload.setServerPath(uploadedUrl);   getBaseDao().update("upload.updatePreUploadInfo", preUpload);      if(Global.BLOCK_UPLOAD_TO!=Global.BLOCK_UPLOAD_TO_LOCAL)   {   //组装完毕没有问题  删除掉S2/S3上的block   String[] path=preUpload.getS3BlockUrl();   for (String string : path) {    try {     if(Global.BLOCK_UPLOAD_TO==Global.BLOCK_UPLOAD_TO_S2)     {     S2Util.deleteFile(preUpload.getBucketUrl(), string);     }else     {     S3Util.deleteFile(preUpload.getBucketUrl(), string);     }    } catch (Exception e) {     log.error(e.getMessage(), e);    }   }   }   if (log.isInfoEnabled())    log.info(preUpload.getUuid() + " assembleFileWithBlock");  } catch (IOException e) {   log.error(e.getMessage(), e);   try {    if (fileReader != null) {     fileReader.close();    }    if (fileWrite != null) {     fileWrite.close();    }   } catch (IOException ex) {    log.error(e.getMessage(), e);   }  } }

        BlockPreuploadFileInfo 是我们自定义的业务文件处理 bean。
        OK,分块上传的服务器、客户端源代码及其工作流程至此已全部介绍完毕,以上源代码全部是经过项目实践过的,大部分现在仍运行于一些项目之中。有兴趣的朋友可以自己动手,将以上代码自行改造,看看能否运行成功。如果遇到问题可以在本博客下跟帖留言,大家一起讨论讨论。           

给我老师的人工智能教程打call!http://blog.csdn.net/jiangjunshow
这里写图片描述
你好! 这是你第一次使用 **Markdown编辑器** 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:

  1. 全新的界面设计 ,将会带来全新的写作体验;
  2. 在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显示选择的高亮样式 进行展示;
  3. 增加了 图片拖拽 功能,你可以将本地的图片直接拖拽到编辑区域直接展示;
  4. 全新的 KaTeX数学公式 语法;
  5. 增加了支持甘特图的mermaid语法1 功能;
  6. 增加了 多屏幕编辑 Markdown文章功能;
  7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能,功能按钮位于编辑区域与预览区域中间;
  8. 增加了 检查列表 功能。

功能快捷键

撤销:Ctrl/Command + Z
重做:Ctrl/Command + Y
加粗:Ctrl/Command + B
斜体:Ctrl/Command + I
标题:Ctrl/Command + Shift + H
无序列表:Ctrl/Command + Shift + U
有序列表:Ctrl/Command + Shift + O
检查列表:Ctrl/Command + Shift + C
插入代码:Ctrl/Command + Shift + K
插入链接:Ctrl/Command + Shift + L
插入图片:Ctrl/Command + Shift + G

合理的创建标题,有助于目录的生成

直接输入1次#,并按下space后,将生成1级标题。
输入2次#,并按下space后,将生成2级标题。
以此类推,我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H2O is是液体。

210 运算结果是 1024.

插入链接与图片

链接: link.

图片: Alt

带尺寸的图片: Alt

当然,我们为了让用户更加便捷,我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

博客设置页面,选择一款你喜欢的代码片高亮样式,下面展示同样高亮的 代码片.

// An highlighted block var foo = 'bar'; 

生成一个适合你的列表

  • 项目
    • 项目
      • 项目
  1. 项目1
  2. 项目2
  3. 项目3
  • 计划任务
  • 完成任务

创建一个表格

一个简单的表格是这么创建的:

项目Value
电脑$1600
手机$12
导管$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列第二列第三列
第一列文本居中第二列文本居右第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如:

TYPEASCIIHTML
Single backticks'Isn't this fun?'‘Isn’t this fun?’
Quotes"Isn't this fun?"“Isn’t this fun?”
Dashes-- is en-dash, --- is em-dash– is en-dash, — is em-dash

创建一个自定义列表

Markdown
Text-to- HTML conversion tool
Authors
John
Luke

如何创建一个注脚

一个具有注脚的文本。2

注释也是必不可少的

Markdown将文本转换为 HTML

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n1)!nN 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t &ThinSpace; . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=0tz1etdt.

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能,丰富你的文章

gantt
        dateFormat  YYYY-MM-DD
        title Adding GANTT diagram functionality to mermaid
        section 现有任务
        已完成               :done,    des1, 2014-01-06,2014-01-08
        进行中               :active,  des2, 2014-01-09, 3d
        计划一               :         des3, after des2, 5d
        计划二               :         des4, after des3, 5d
  • 关于 甘特图 语法,参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图::

张三 李四 王五 你好!李四, 最近怎么样? 你最近怎么样,王五? 我很好,谢谢! 我很好,谢谢! 李四想了很长时间, 文字太长了 不适合放在一行. 打量着王五... 很好... 王五, 你怎么样? 张三 李四 王五

这将产生一个流程图。:

链接
长方形
圆角长方形
菱形
  • 关于 Mermaid 语法,参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图:

  • 关于 Flowchart流程图 语法,参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ,生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件或者.html文件,在上方工具栏可以选择导入功能进行对应扩展名的文件导入,
继续你的创作。


  1. mermaid语法说明 ↩︎

  2. 注脚的解释 ↩︎

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
QT (Qt) 提供了强大的跨平台应用程序框架和库,其中包含了用于文件操作的各种功能,包括 HTTP 文件上传。为了向服务器上传文件并利用 HTTP 的分块上传特性,你可以使用 Qt Network 模块中的 `QNetworkRequest` 和 `QNetworkReply` 类。 ### 基本步骤: 1. **初始化 QNetworkAccessManager**: 首先需要创建一个 `QNetworkAccessManager` 实例,这是处理网络请求的核心组件。通过这个组件可以发送 HTTP 请求到服务器。 ```cpp #include <QNetworkAccessManager> #include <QByteArray> #include <QFile> QNetworkAccessManager *manager = new QNetworkAccessManager; ``` 2. **构造文件分块**: 分块上传意味着将文件分割成小部分,每一部分都可以作为一个单独的HTTP请求发送给服务器。你需要确定分块大小、边界等信息,并准备文件读取流程。 ```cpp int chunkSize = 4096; // 例如每个分块大小为 4Kb int totalChunks = (file.size() + chunkSize - 1) / chunkSize; QString boundary = "---------------------------1234567890abcdefg"; ``` 3. **构造 POST 数据**: 创建一个字符串作为分块数据的开始部分,包括边界、内容类型和序列号。 ```cpp QStringList headers{"Content-Type: multipart/form-data; boundary=" + boundary}; QByteArray data; for(int i = 0; i < totalChunks; ++i) { QByteArray startDelimiter = "\r\n--" + boundary; QByteArray endDelimiter = "\r\n--\r\n"; QFile file(filePath); if (!file.open(QIODevice::ReadOnly)) { qDebug("Error opening file."); continue; } QByteArray currentChunkData = file.read(chunkSize); // 构造当前分块的数据流 QString lineSeparator("\r\n"); QString chunkHeader = "Content-Disposition: form-data; name=\"file\"; filename=\"" + fileName + "\"\r\n" "Content-Type: application/octet-stream\r\n" "\r\n"; data.append(startDelimiter).append(lineSeparator) .append(chunkHeader).append(lineSeparator) .append(currentChunkData) .append(endDelimiter); } data.append(endDelimiter); ``` 4. **发送 HTTP 请求**: 使用 `QNetworkRequest` 来设置正确的 URL 和头部信息,然后通过 `post()` 函数发送请求。 ```cpp auto request = QNetworkRequest(QUrl(url)); request.setHeader(QNetworkRequest::ContentTypeHeader, "multipart/form-data; boundary=" + boundary); manager->post(request, data); ``` 5. **接收响应**: 当服务器返回响应时,可以通过观察 `QNetworkReply` 的状态信号来检查是否成功完成上传。 ```cpp QObject::connect(manager, &QNetworkAccessManager::finished, reply -> QNetworkReply::finished, [reply](){ if (reply->error()) { qDebug("Error uploading file: %s", qPrintable(reply->errorString())); } else { qDebug("File uploaded successfully."); } }); ``` 以上步骤提供了一个基础框架,具体实现时需要根据实际应用需求调整细节,比如错误处理、并发控制等。务必确保对文件的操作是线程安全的,特别是对于共享资源的访问。 --- ### 相关问题: 1. **如何优化 QT 中的大文件上传性能?** 2. **在 QT 中实现断点续传的功能?** 3. **QT 中如何正确处理多线程并发下的文件上传任务?**
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值