多文件上传到FTP遇到的线程并发问题

最新推荐文章于 2024-05-06 23:09:46 发布
最新推荐文章于 2024-05-06 23:09:46 发布
阅读量8.8k 收藏 9
点赞数 2
分类专栏： Java FTP 线程并发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liwb94/article/details/80001318
版权
Java 同时被 3 个专栏收录
37 篇文章 0 订阅
订阅专栏
FTP
3 篇文章 0 订阅
订阅专栏
线程并发
3 篇文章 1 订阅
订阅专栏

问题发生的直观描述：在用户用Bootstarp Fileinput通过异步的方式上传多张图片文件至ftp时出现文件有的成功，有的失败。完全随机的。

debug结论：在FtpClient.storeFile()时报connect is not open 的IO异常有的还有connect closed when copying.

出现的原因：Fileinput会同时请求后端的upload接口，然而FtpUtil里面将FtpClient和上传的方法全都写成static了，可能是当时为了方便直接调方法 而不用new对象。这样又节约内存？这时就发生了并发情况下出现的一系列问题。

解决办法：1将上传文件的方法加synchronized。最简单的但肯定不好的

                2将static全部改成非静态的。

liwb94
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
FTP并发及带宽限制
秦庚辰的博客
05-05 4208
FTP并发及带宽限制 问题 沿用上文FTP搭建及应用，通过调整FTP服务端配置，实现以下目标： 最多允许100个FTP并发连接 每个IP地址最多允许2个并发连接 匿名访问时，将速度限制为 50KB/s 用户登录访问时，将速度限制为 500KB/s 在客户机上通过ftp或wget验证上述限制 方案 关于vsftpd服务器的并发及带宽限制，主要用到以下配置参数： max_clients：限制并发的客户...
线上FTP问题排查与解决——工作笔记
大蟒蛇来了
05-20 1万+
java.net.NoRouteToHostException: No route to host at java.net.PlainSocketImpl.socketConnect(Native Method) at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350) at java.net.A...
Python多进程并发，多线程写入sftp分片上传与下载（亲测可用）
最新发布
fantasywith的博客
05-06 847
项目地址 GitCode项目地址这段代码实现了通过SFTP协议进行文件下载的功能，并使用多线程来提高下载效率。下面是详细的功能描述：该代码段实现了一个文件上传流程，其中涉及多线程处理和文件操作。以下是详细的功能描述： 全文完结
ftp文件传输小结
LaiBuJiZou的专栏
04-12 1122
ftp传文件还真的很大坑！
文件上传java ftpClient上传文件时总是卡在storeFile方法
热门推荐
R-青
02-06 2万+
java ftpClient 上传文件时总是卡在"storeFile()"方法解决方案。 搜集了很久的资料一直在找卡在storeFile()方法的原因，网上都说设置这行代码 ftpClient.enterLocalPassiveMode(); 但是我一开始就添加了。。。。。 最后灵机一动，突然发现我在本地测试用的是一个信号很差的WIFI！！！！！！ 卧槽！！！！！被自己蠢哭了！~！！！！！！！ ...
记ftpClient.storeFile(name,inputStream)被挂起，一直没有回复226 transfer complete造成阻塞
xzm2011023的博客
12-07 2554
最近现场一个问题折磨了我好久，问题是这样的。程序使用异步线程从装置上取文件，通过http连接从设备上读取流之后保存到ftp服务器上，开始都是正常的，过了半个多小时线程会堵塞，导致所有的装置都没有上传声纹，开始以为是装置没有声纹文件，后来查看装置都是正常的在生成声纹文件，那阻塞的原因在哪里，通过日志发现第一个发生阻塞的线程，每次都是执行到这句程序ftpClient.storeFile(name,inputStream)，就不往下执行，因为ftp我开了日志打印，所以正常的ftp保存文件都是150OK to s.
java ftp连接被拒绝_java - FTPClient连接被拒绝 - 堆栈内存溢出
weixin_42299131的博客
02-24 1528
我正在尝试通过FTPClient复制文件并在本地系统中进行测试我的代码是这样的，我的IPv4地址作为主机的输入import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;import java.io.PrintWriter;import org.ap...
.net ftp多线程批量文件上传
04-14
批量文件上传涉及到多个文件的连续上传。在.NET中，我们可以通过循环遍历文件列表，然后对每个文件调用FTP上传方法。多线程批量上传则是在此基础上，将每个文件的上传任务分配到不同的线程中执行。 **实现步骤** 1....
ftp多线程文件上传下载
10-07
综上所述，实现FTP多线程文件上传下载涉及FTP协议的理解、多线程编程、并发控制、错误处理等多个方面，需要良好的编程技巧和对网络通信的理解。通过以上知识点的应用，可以构建出高效稳定的FTP客户端应用程序。
java FTP多线程 批量 断点续传
10-28
Java FTP多线程批量断点续传是一种在Java编程中实现高效、稳定文件传输的方法，尤其适用于大文件的上传和下载。在这个过程中，我们利用FTP（File Transfer Protocol）协议，结合多线程技术和断点续传功能，可以显著...
FTP多线程上传文件资料
06-15
多线程FTP上传是指通过多个并发连接同时上传文件，以提高文件上传的速度和效率。这种技术尤其适用于大文件或大批量文件的传输，因为它可以充分利用网络带宽资源。 在实现FTP多线程上传时，我们需要考虑以下几个关键...
(Java)FTP多线程下载源代码
08-21
采用apache commons开发包，实现了FTP多线程下载，并有简单的包括进度条的界面，代码的运行：1 把自己的PC配置成FTP服务器(只需下载Serc-U软件)2 建立用户，用户名：zhangyu，密码：123，设置根目录，并拷贝进一些文件(这就是FTP服务器上的要下载的文件了)，3 在IDE中建立工程，建立com包，导入代码和开发包(文件中的.jar文件)，一切OK可以编译运行了。 另外要注意的是，输入的FTP目录和本地目录要正确，因为程序中没有处理这类异常(呵呵呵，毕竟这不是主要目的)，范例 FTP目录：\FTP\hello.txt(\代表FTP根目录) 本地目录：C:\
java多线程ftp 上传下载
03-14
需要common-net.jar这个依赖包 你懂的
JSch - Java实现的SFTP（文件上传详解篇）
07-17
JSch - Java实现的SFTP（文件上传详解篇）
delphi 多线程断点续传支持超大文件2G以上传输带源码
03-20
在文件传输中，多线程可以将大文件分割成多个小部分，每个线程负责传输一部分，这样不仅可以提高传输速度，还能在其中一个线程出现问题时，其他线程仍能继续工作，提高了传输的稳定性。 断点续传功能则是在文件传输...
vsftpd 搭建文件服务器总结
liaoyun567的博客
12-25 2114
vsftpd 搭建文件服务器总结  廖云 2016-12-24 一、引言 最近在做一个项目，牵涉到多个后台（桌面端后台 和 app端后台），里面有文件上传、下载的功能，这就不能避免的有文件保存的问题了，以前都是保存在根目录的某个文件夹下，这样就导致文件管理极不方便，例如：1、每换一个平台部署服务，就要拷贝一次文件；2、如果服务以集群的方式部署在不同的机器上，文件很难进行共享。经过精心考虑后，
java ftp多线程上传_利用ftp多线程上传文件
weixin_42146274的博客
02-13 790
使用apache commons-net-3.3首先我们需要有一个ftp服务器。直接上代码package com.ourpalm.resupgrade.util.ftp;import java.io.BufferedInputStream;import java.io.File;import java.io.FileInputStream;import java.io.IOException;im...
线程的基本概念（一）
爱喝雪碧的大个子
09-26 257
线程的基本概念 第一节 线程的基本概念 文章目录线程的基本概念前言一、程序、进程、线程是什么？1.程序(program)2.进程(process)3.线程(thread)二、单核CPU和多核CPU的分别表示什么？1.单核CUP2.多核CUP三、并行与并发1.并行2.并发四、使用多线程的优点五、何时需要多线程五、关于线程调度的了解1.分时调度2.抢占式调度3.抢占式调度详解 前言 在正式学习线程知识之前，需要对一些线程的基本概念有一些了解，接下来将会对线程中常见的术语进行解释说明，为未来线程的学习打好
java线程池多线程上传文件
06-10
好的，关于java线程池多线程上传文件，我可以给您提供一些思路和代码示例。 首先，我们可以利用Java中的Executor框架来创建线程池，方便管理和控制线程的数量。然后，我们可以使用Java中的多线程编程技术来实现文件上传的并发操作。 以下是一个简单的示例代码，可以上传指定目录下的所有文件，并利用线程池中的线程来进行并发上传操作： ```java import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; public class FileUploader { private final ExecutorService executorService; public FileUploader(int numThreads) { executorService = Executors.newFixedThreadPool(numThreads); } public void uploadFiles(String directoryPath, String serverUrl) { File directory = new File(directoryPath); if (!directory.isDirectory()) { System.out.println("Invalid directory path!"); return; } File[] files = directory.listFiles(); for (File file : files) { executorService.submit(new FileUploadTask(file, serverUrl)); } } private static class FileUploadTask implements Runnable { private final File file; private final String serverUrl; public FileUploadTask(File file, String serverUrl) { this.file = file; this.serverUrl = serverUrl; } @Override public void run() { try (FileInputStream inputStream = new FileInputStream(file)) { // TODO: Upload file to server using HTTP or FTP protocol System.out.println("File " + file.getName() + " uploaded successfully!"); } catch (IOException e) { System.out.println("Failed to upload file " + file.getName() + ": " + e.getMessage()); } } } } ``` 在上述代码中，我们首先创建了一个FileUploader类，并在构造方法中初始化了一个线程池。然后，我们定义了一个uploadFiles方法，该方法接收一个目录路径和服务器URL作为参数，遍历指定目录下的所有文件，并利用线程池中的线程来上传文件。 在FileUploadTask类中，我们实现了Runnable接口，并在run方法中定义了文件上传的逻辑。在实际应用中，我们可以根据具体需求来选择合适的上传协议和实现方式。 希望这个示例能够对您有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值