Apache FTPClient操作“卡死”问题的分析和解决

最新推荐文章于 2023-03-22 17:53:08 发布
最新推荐文章于 2023-03-22 17:53:08 发布
阅读量6.9k 收藏 5
点赞数
分类专栏： java ftpclient 文章标签： java apache ftpclient

声明：本文转自 http://www.cnblogs.com/CopyPaster/p/3494579.html     

首先，感谢原博主写的这篇文章，帮了我很大忙，在进行FTPClient进行下载时出现‘卡死’现象，但却无力而为，最终看到博主的这篇文章后，问题才得以解决，感谢分享。借此，做一记录！


最近在和一个第三方的合作中不得已需要使用FTP文件接口。由于FTP Server由对方提供，而且双方背后各自的网络环境都很不单纯等等原因，造成测试环境无法模拟实际情况。测试环境中程序一切正常，但是在部署到生产环境之后发现FTP操作不规律性出现“卡死”现象：程序捕获不到任何异常一直卡着，导致轮巡无法正常工作（由于担心在轮巡时间间隔内处理不能完成，我没有采用类似quartz或者crontab的定时任务，而是采用while-true然后sleep的方式）。

    为了解决这个问题，我首先考虑的是对于FTPClient的使用上没有设置超时时间，于是设置了ConnectTimeout、DataTimeout、DefaultTimeout后在生产环境上继续观察，但是问题依旧没有解决。后来我有些怀疑FTPClient api本身是不是有什么问题，想实在不行自己实现一个超时机制吧，不过还是不甘心，还是想从FTPClient api本身去解决问题。又经过一翻研究之后发现：需要使用被动模式，以下摘抄别人的一段简单描述：
在项目中使用commons-net-3.0.1.jar实现FTP文件的下载，在windows xp上运行正常，但是放到linux上，却出现问题，程序运行到 FTPClient.listFiles()或者FTPClient.retrieveFile()方法时，就停止在那里，什么反应都没有，出现假死状态。google一把，发现很多人也出现了此类问题，最终在一个帖子里找到了解决办法。在调用这两个方法之前，调用FTPClient.enterLocalPassiveMode();这个方法的意思就是每次数据连接之前，ftp client告诉ftp server开通一个端口来传输数据。为什么要这样做呢，因为ftp server可能每次开启不同的端口来传输数据，但是在linux上，由于安全限制，可能某些端口没有开启，所以就出现阻塞。OK，问题解决。

    于是我回滚了之前的修改，改为被动模式（关于FTP主动/被动模式的解释，这里我不多说了，关注的朋友可以自己查阅）。但是问题依旧。于是能想到的就是最有的绝招：实在不行自己实现一个超时机制吧。经过一翻研究最简单的方式就是使用：Future解决：

public static void main(String[] args) throws InterruptedException, ExecutionException {
        final ExecutorService exec = Executors.newFixedThreadPool(1);


        Callable<String> call = new Callable<String>() {
            public String call() throws Exception {
                Thread.sleep(1000 * 5);
                return "线程执行完成.";
            }
        };


        try {
            Future<String> future = exec.submit(call);
            String obj = future.get(4 * 1000, TimeUnit.MILLISECONDS); // 任务处理超时时间设置
            System.out.println("任务成功返回:" + obj);
        } catch (TimeoutException ex) {
            System.out.println("处理超时啦....");
            ex.printStackTrace();
        } catch (Exception e) {
            System.out.println("处理失败.");
            e.printStackTrace();
        }
        // 关闭线程池
        exec.shutdown();
        
        System.out.println("完毕");
    }

当然了还有很多其他方式：
http://tech.sina.com.cn/s/2008-07-04/1051720260.shtml
http://itindex.net/blog/2010/08/11/1281486125717.html
http://darkmasky.iteye.com/blog/1115047
http://www.cnblogs.com/wasp520/archive/2012/07/06/2580101.html
http://coolxing.iteye.com/blog/1476289
http://www.cnblogs.com/chenying99/archive/2012/10/24/2737924.html

    虽然找到了终极的“必杀技”，但是此时我还是不甘心，还是想从FTPClient api本身去解决问题，但此时看来也别无它他法。只能试试：即设置被动模式又设置超时时间。经过实际测试，发现问题得以解决。下面把我的FTP工具类贴给大家分享，希望能帮到遇到同样问题的人。


import org.apache.commons.net.ftp.FTP;
import org.apache.commons.net.ftp.FTPClient;
import org.apache.commons.net.ftp.FTPFile;
import org.apache.commons.net.ftp.FTPReply;


import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.UnknownHostException;
import java.util.ArrayList;
import java.util.List;


public class FtpUtil {
    public static final String ANONYMOUS_LOGIN = "anonymous";
    private FTPClient ftp;
    private boolean is_connected;


    public FtpUtil() {
        ftp = new FTPClient();
        is_connected = false;
    }
    
    public FtpUtil(int defaultTimeoutSecond, int connectTimeoutSecond, int dataTimeoutSecond){
        ftp = new FTPClient();
        is_connected = false;
        
        ftp.setDefaultTimeout(defaultTimeoutSecond * 1000);
        ftp.setConnectTimeout(connectTimeoutSecond * 1000);
        ftp.setDataTimeout(dataTimeoutSecond * 1000);
    }


    /**
     * Connects to FTP server.
     * 
     * @param host
     *            FTP server address or name
     * @param port
     *            FTP server port
     * @param user
     *            user name
     * @param password
     *            user password
     * @param isTextMode
     *            text / binary mode switch
     * @throws IOException
     *             on I/O errors
     */
    public void connect(String host, int port, String user, String password, boolean isTextMode) throws IOException {
        // Connect to server.
        try {
            ftp.connect(host, port);
        } catch (UnknownHostException ex) {
            throw new IOException("Can't find FTP server '" + host + "'");
        }


        // Check rsponse after connection attempt.
        int reply = ftp.getReplyCode();
        if (!FTPReply.isPositiveCompletion(reply)) {
            disconnect();
            throw new IOException("Can't connect to server '" + host + "'");
        }


        if (user == "") {
            user = ANONYMOUS_LOGIN;
        }


        // Login.
        if (!ftp.login(user, password)) {
            is_connected = false;
            disconnect();
            throw new IOException("Can't login to server '" + host + "'");
        } else {
            is_connected = true;
        }


        // Set data transfer mode.
        if (isTextMode) {
            ftp.setFileType(FTP.ASCII_FILE_TYPE);
        } else {
            ftp.setFileType(FTP.BINARY_FILE_TYPE);
        }
    }


    /**
     * Uploads the file to the FTP server.
     * 
     * @param ftpFileName
     *            server file name (with absolute path)
     * @param localFile
     *            local file to upload
     * @throws IOException
     *             on I/O errors
     */
    public void upload(String ftpFileName, File localFile) throws IOException {
        // File check.
        if (!localFile.exists()) {
            throw new IOException("Can't upload '" + localFile.getAbsolutePath() + "'. This file doesn't exist.");
        }


        // Upload.
        InputStream in = null;
        try {


            // Use passive mode to pass firewalls.
            ftp.enterLocalPassiveMode();


            in = new BufferedInputStream(new FileInputStream(localFile));
            if (!ftp.storeFile(ftpFileName, in)) {
                throw new IOException("Can't upload file '" + ftpFileName + "' to FTP server. Check FTP permissions and path.");
            }


        } finally {
            try {
                in.close();
            } catch (IOException ex) {
            }
        }
    }


    /**
     * Downloads the file from the FTP server.
     * 
     * @param ftpFileName
     *            server file name (with absolute path)
     * @param localFile
     *            local file to download into
     * @throws IOException
     *             on I/O errors
     */
    public void download(String ftpFileName, File localFile) throws IOException {
        // Download.
        OutputStream out = null;
        try {
            // Use passive mode to pass firewalls.
            ftp.enterLocalPassiveMode();


            // Get file info.
            FTPFile[] fileInfoArray = ftp.listFiles(ftpFileName);
            if (fileInfoArray == null) {
                throw new FileNotFoundException("File " + ftpFileName + " was not found on FTP server.");
            }


            // Check file size.
            FTPFile fileInfo = fileInfoArray[0];
            long size = fileInfo.getSize();
            if (size > Integer.MAX_VALUE) {
                throw new IOException("File " + ftpFileName + " is too large.");
            }


            // Download file.
            out = new BufferedOutputStream(new FileOutputStream(localFile));
            if (!ftp.retrieveFile(ftpFileName, out)) {
                throw new IOException("Error loading file " + ftpFileName + " from FTP server. Check FTP permissions and path.");
            }


            out.flush();
        } finally {
            if (out != null) {
                try {
                    out.close();
                } catch (IOException ex) {
                }
            }
        }
    }


    /**
     * Removes the file from the FTP server.
     * 
     * @param ftpFileName
     *            server file name (with absolute path)
     * @throws IOException
     *             on I/O errors
     */
    public void remove(String ftpFileName) throws IOException {
        if (!ftp.deleteFile(ftpFileName)) {
            throw new IOException("Can't remove file '" + ftpFileName + "' from FTP server.");
        }
    }


    /**
     * Lists the files in the given FTP directory.
     * 
     * @param filePath
     *            absolute path on the server
     * @return files relative names list
     * @throws IOException
     *             on I/O errors
     */
    public List<String> list(String filePath) throws IOException {
        List<String> fileList = new ArrayList<String>();
        
        // Use passive mode to pass firewalls.
        ftp.enterLocalPassiveMode();
        
        FTPFile[] ftpFiles = ftp.listFiles(filePath);
        int size = (ftpFiles == null) ? 0 : ftpFiles.length;
        for (int i = 0; i < size; i++) {
            FTPFile ftpFile = ftpFiles[i];
            if (ftpFile.isFile()) {
                fileList.add(ftpFile.getName());
            }
        }
        
        return fileList;
    }


    /**
     * Sends an FTP Server site specific command
     * 
     * @param args
     *            site command arguments
     * @throws IOException
     *             on I/O errors
     */
    public void sendSiteCommand(String args) throws IOException {
        if (ftp.isConnected()) {
            try {
                ftp.sendSiteCommand(args);
            } catch (IOException ex) {
            }
        }
    }


    /**
     * Disconnects from the FTP server
     * 
     * @throws IOException
     *             on I/O errors
     */
    public void disconnect() throws IOException {


        if (ftp.isConnected()) {
            try {
                ftp.logout();
                ftp.disconnect();
                is_connected = false;
            } catch (IOException ex) {
            }
        }
    }


    /**
     * Makes the full name of the file on the FTP server by joining its path and
     * the local file name.
     * 
     * @param ftpPath
     *            file path on the server
     * @param localFile
     *            local file
     * @return full name of the file on the FTP server
     */
    public String makeFTPFileName(String ftpPath, File localFile) {
        if (ftpPath == "") {
            return localFile.getName();
        } else {
            String path = ftpPath.trim();
            if (path.charAt(path.length() - 1) != '/') {
                path = path + "/";
            }


            return path + localFile.getName();
        }
    }


    /**
     * Test coonection to ftp server
     * 
     * @return true, if connected
     */
    public boolean isConnected() {
        return is_connected;
    }


    /**
     * Get current directory on ftp server
     * 
     * @return current directory
     */
    public String getWorkingDirectory() {
        if (!is_connected) {
            return "";
        }


        try {
            return ftp.printWorkingDirectory();
        } catch (IOException e) {
        }


        return "";
    }


    /**
     * Set working directory on ftp server
     * 
     * @param dir
     *            new working directory
     * @return true, if working directory changed
     */
    public boolean setWorkingDirectory(String dir) {
        if (!is_connected) {
            return false;
        }


        try {
            return ftp.changeWorkingDirectory(dir);
        } catch (IOException e) {
        }


        return false;
    }


    /**
     * Change working directory on ftp server to parent directory
     * 
     * @return true, if working directory changed
     */
    public boolean setParentDirectory() {
        if (!is_connected) {
            return false;
        }


        try {
            return ftp.changeToParentDirectory();
        } catch (IOException e) {
        }


        return false;
    }


    /**
     * Get parent directory name on ftp server
     * 
     * @return parent directory
     */
    public String getParentDirectory() {
        if (!is_connected) {
            return "";
        }


        String w = getWorkingDirectory();
        setParentDirectory();
        String p = getWorkingDirectory();
        setWorkingDirectory(w);


        return p;
    }


    /**
     * Get directory contents on ftp server
     * 
     * @param filePath
     *            directory
     * @return list of FTPFileInfo structures
     * @throws IOException
     */
    public List<FfpFileInfo> listFiles(String filePath) throws IOException {
        List<FfpFileInfo> fileList = new ArrayList<FfpFileInfo>();
        
        // Use passive mode to pass firewalls.
        ftp.enterLocalPassiveMode();
        FTPFile[] ftpFiles = ftp.listFiles(filePath);
        int size = (ftpFiles == null) ? 0 : ftpFiles.length;
        for (int i = 0; i < size; i++) {
            FTPFile ftpFile = ftpFiles[i];
            FfpFileInfo fi = new FfpFileInfo();
            fi.setName(ftpFile.getName());
            fi.setSize(ftpFile.getSize());
            fi.setTimestamp(ftpFile.getTimestamp());
            fi.setType(ftpFile.isDirectory());
            fileList.add(fi);
        }


        return fileList;
    }


    /**
     * Get file from ftp server into given output stream
     * 
     * @param ftpFileName
     *            file name on ftp server
     * @param out
     *            OutputStream
     * @throws IOException
     */
    public void getFile(String ftpFileName, OutputStream out) throws IOException {
        try {
            // Use passive mode to pass firewalls.
            ftp.enterLocalPassiveMode();
            
            // Get file info.
            FTPFile[] fileInfoArray = ftp.listFiles(ftpFileName);
            if (fileInfoArray == null) {
                throw new FileNotFoundException("File '" + ftpFileName + "' was not found on FTP server.");
            }


            // Check file size.
            FTPFile fileInfo = fileInfoArray[0];
            long size = fileInfo.getSize();
            if (size > Integer.MAX_VALUE) {
                throw new IOException("File '" + ftpFileName + "' is too large.");
            }


            // Download file.
            if (!ftp.retrieveFile(ftpFileName, out)) {
                throw new IOException("Error loading file '" + ftpFileName + "' from FTP server. Check FTP permissions and path.");
            }


            out.flush();


        } finally {
            if (out != null) {
                try {
                    out.close();
                } catch (IOException ex) {
                }
            }
        }
    }


    /**
     * Put file on ftp server from given input stream
     * 
     * @param ftpFileName
     *            file name on ftp server
     * @param in
     *            InputStream
     * @throws IOException
     */
    public void putFile(String ftpFileName, InputStream in) throws IOException {
        try {
            // Use passive mode to pass firewalls.
            ftp.enterLocalPassiveMode();
            
            if (!ftp.storeFile(ftpFileName, in)) {
                throw new IOException("Can't upload file '" + ftpFileName + "' to FTP server. Check FTP permissions and path.");
            }
        } finally {
            try {
                in.close();
            } catch (IOException ex) {
            }
        }
    }
}

wya24k
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java ftp 卡死_ftpClient.listNames导致ftp卡死问题，FTP主动/被动模式
weixin_39902545的博客
02-16 1708
一直没问题的应用，今天发现向ftp上传图片的时候，发现上传没反应，一直处于卡的状态(tomcat没有卡死，只是那个方法一直卡住)，也没有超时、没有报错。本机window测试正常，一台云平台的linux测试也正常，唯独内网的linux机器上传不了。首先以为内网linux连接不上ftp服务器，试着ping然后直接ftp上去，发现都正常的。也就是说，内网linux机器和ftp机器通讯是正常的。DSC00...
apache.commons.net.ftp 上传下载大文件时出现 FTPClient retrieveFile 假死（卡死）解决办法（3.5/3.6/3.7）
天道酬勤
01-31 2905
转载请注明出处： 1. 问题 使用 commons.net 包下载小文件时（< 5MB）程序能够顺利完成，但在下载大文件时（>80MB）程序会将文件下载完毕（检查文件大小，跟需要下载的文件大小一直），但是一直卡在 FTPClient.retrieveFile 方法。在网上查找了很多原因，大概了解了问题的所在。 2. 原因 FTPClient 连接时会产生两个 socket 连接，一个用来传输命令，一个用来传输数据。 当我们在上传和下载大文件时，只有传输数据的socket连接在活动，那么传输命令的
关于FTPClient无法执行logout()直到断开连接的问题
最新发布
WM_55555的博客
03-22 968
今天遇到一个问题，做个记录，当我们在使用ftp下载文件时会获取到一个输入流，这个输入流必须在关闭ftpclient或者退出之前先close掉，否则ftp认为你还在获取文件中，导致无法关闭客户端链接；--------------------->卡在这不不能动直到失去链接。这个is在代码中没有提前close;
ftpClient = new FtpClient(ip) 报错 cannot instantiate the type FtpClient
伍六七的博客
07-21 3901
sun.net.ftp.FtpClient 这个类在jdk的帮助文档中没有具体的说明，也就是并没有对外公开。 并且这个类是在jdk的 rt.jar中实现的。 jdk1.7下其构造函数FtpClient()被定义为private类型，所以无法new了。 在jdk1.7，已经换成了 FtpClient.create(ip)方法 同时，其他的一些方法也基本都改掉了， 如 ftpClient.
Linux下用curlftpfs挂载FTP服务器及遇到过的问题
一个小白的博客
11-05 7396
Linux下用curlftpfs挂载FTP服务器 1、安装curlftpfs 1.1 安装DAGrepository 由于CentOS系统不能直接使用yum install curlftpfs 安装curltftpfs,所以需要先安装DAGrepository rpm -Uhv http://apt.sw.be/RedHat/el5/en/x86_64/rpmforge/RPMS//rp...
Apache FTPClient操作FTP工具类
01-03
Apache FTPClient操作FTP工具类
sun.FtpClient,ftp4j.FTPClient,apache.FTPClient不同的方式操作FTP
07-05
sun.net.ftp.FtpClient,it.sauronsoftware.ftp4j.FTPClient,org.apache.commons.net.ftp.FTPClient三种不同的方式操作FTP
apache FTPClient commons-net-3.5-src.rar
01-04
同时，对于希望优化FTPClient性能或解决特定场景问题的开发者来说，源码阅读是非常有价值的。 此外，压缩包中还有其他版本的jar文件（如`commons-net-3.1.jar`和`commons-net-1.4.1.jar`）和源码（`commons-...
Java使用Apache的FTPClient操作ftp
06-23
Java程序使用Apache的commons-net-3.0.jar包中的org.apache.commons.net.ftp.FTPClient类实现对ftp上传、下载、删除等操作，是一个不错的东西哦
apache java ftpclient
02-16
Apache的Java FTPClient库是一个强大的工具，用于在Java应用程序中执行FTP（文件传输协议）操作。这个库使得与FTP服务器的交互变得简单，允许开发者轻松地上传、下载、列出、移动和删除远程文件。以下是对这个主题的...
linux上ftp服务器搭建以及遇到的问题解决
feinifi的博客
11-06 5684
ftp服务器经常会用来在局域网传输文件，这里介绍如何在linux上搭建ftp服务器并开启服务。第一步、yum安装yum install vsftpd -y yum install ftp -y安装成功之后，配置文件在/etc/vsftp目录下,如图。第二步、新建ftp用户并修改密码useradd -g ftp /sbin/nologin ftpuser01 passwd ftpuser01第三步...
FtpClient第一次下载文件成功，第二次报文件不存在问题解决
qq792557962的博客
04-13 1938
FtpClient同一个客户端连接第一次下载文件成功，第二次报文件不存在问题解决
JAVA FTPClient文件操作
梦想起飞的地方.........
02-21 2872
ftp
文件上传java ftpClient上传文件时总是卡在storeFile方法
热门推荐
R-青
02-06 2万+
java ftpClient 上传文件时总是卡在"storeFile()"方法解决方案。 搜集了很久的资料一直在找卡在storeFile()方法的原因，网上都说设置这行代码 ftpClient.enterLocalPassiveMode(); 但是我一开始就添加了。。。。。 最后灵机一动，突然发现我在本地测试用的是一个信号很差的WIFI！！！！！！ 卧槽！！！！！被自己蠢哭了！~！！！！！！！ ...
记ftpClient.storeFile(name,inputStream)被挂起，一直没有回复226 transfer complete造成阻塞
xzm2011023的博客
12-07 2577
最近现场一个问题折磨了我好久，问题是这样的。程序使用异步线程从装置上取文件，通过http连接从设备上读取流之后保存到ftp服务器上，开始都是正常的，过了半个多小时线程会堵塞，导致所有的装置都没有上传声纹，开始以为是装置没有声纹文件，后来查看装置都是正常的在生成声纹文件，那阻塞的原因在哪里，通过日志发现第一个发生阻塞的线程，每次都是执行到这句程序ftpClient.storeFile(name,inputStream)，就不往下执行，因为ftp我开了日志打印，所以正常的ftp保存文件都是150OK to s.
apache FtpClient FTP上传下载卡死问题
没有遥远
07-09 1183
使用apache的ftpClient连接FTP没有问题。但是执行以下语句就卡死： [code="java"]ftpClient.storeFileStream(ftpFilename); ftpClient.retrieveFileStream(ftpFilename);[/code] 也就是执行上传下载时就出问题。 不知道为什么在eclipse环境下运行TOMCAT可以，发布到TOM...
java ftpclient getreplycode_FtpClient ReplyCode 意义及 FtpClientHelper辅助类
weixin_29795345的博客
02-27 893
1 public classFtpClient2 {3 public static object obj = new object();45 #region 构造函数6 /// 7 ///缺省构造函数8 /// 9 publicFtpClient()10 {11 strR...
FTP上传下载以及相关注意点
最爱黄安安的博客
04-14 6187
FTP上传下载
Java FTP操作详解与Apache.FTPClient示例
"该资源是关于使用Java语言进行FTP文件操作的代码示例，主要涉及Apache的FTPClient库，用于连接、登录FTP服务器，以及进行文件的上传、下载等操作。" 在Java开发中，当需要与FTP (File Transfer Protocol) 服务器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值