关闭

使用commons-net包处理大数据量FTP下载

标签: JAVAFTPapache
2062人阅读 评论(4) 收藏 举报
分类:

以前用过Apache commons-net包做过FTP的上传下载,但涉及数据量并不大,所以都是采用很普通的方式。比如在做FTP下载时,一般采用这样的方式:

FTPFile [] rmtFiles = ftpClient.listFiles();
for(FTPFile ftpFile : rmtFiles) {
	OutputStream os = null;
	try {
		os = new FileOutputStream(locPath + "/" + ftpFile.getName());
		ftpClient.retrieveFile(ftpFile.getName(), os);
	} catch (Exception e) {
		LOGGER.error(e);
	} finally {
		os.close();
	}
}

最近在做FTP下载时遇到了问题,因为这次FTP服务器上的文件会有很多(可能是百万或者千万级别),再像上面那样做有时候会有问题了,因为ftpClient.listFiles()方法会耗时很久,我试过一次,FTP服务器上平铺了7170个文件,这个方法返回大约需要数秒(10秒内),如果文件数量再增加的话估计很快就会有问题了;另一方面listFiles方法返回的FTPFile数组也会吃掉很大一部分内存。

所以上面的方法不可行了。

这里有一篇文章提到了大数据量FTP下载:http://blog.csdn.net/dyllove98/article/details/7488780

可惜作者只给出了想法,并没有说具体咋做。于是自己想办法实现了,只是不知道实现地好不好。

解决方法需要用到FTP协议的NLST命令,这个命令说明如下:

NLST命令 
格式:NLST <directory> 
功能:返回指定路径下的目录列表,省略<路径>时,返回当前目录。

该命令就是列出给定目录下所有的文件,如果没有指定目录,则返回当前目录下所有的文件名。

那么对于大数据量的FTP下载 来说,思路就是通过这条命令将所有的文件名保存到本地,然后再分析该文件,挨个将文件下载下来。这样不再一次性将文件信息列出到内存中,即可以缩短处理时间,又不会消耗太多内存,所以可以解决上面提到的问题。

我采用的方式是自己实现一个FTPClient继承自commons-net中的FTPClient,然后调用FTPClient中的方法发送NLST命令,得到Socket对象并获取输入流,最后将内容写出到本地文件中。至于后面如何分析该文件并完成下载,那就很简单了,这里不去说明。

代码:

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.net.Socket;
import java.net.SocketException;

import org.apache.commons.io.IOUtils;
import org.apache.commons.net.ftp.FTPClient;
import org.apache.commons.net.ftp.FTPCmd;
import org.apache.log4j.Logger;

public class MyFTPClient extends FTPClient {
	private static final Logger LOGGER = Logger.getLogger(MyFTPClient.class);
	
	public boolean listFilenameToLocalFile(File local) throws IOException {
		return listFilenameToLocalFile(null, local);
	}
	
	public boolean listFilenameToLocalFile(String remote, File local) throws IOException {
		if (null != remote) {
			boolean chRes = changeWorkingDirectory(FTPUtil.gbk2ascii(remote));
			if (!chRes) {
				LOGGER.info("the remote path on ftp server maybe is incorrect.[" + remote + "]");
				return false;
			}
		}
                // 获取发送NLST命令时建立的Socket连接
		Socket socket = _openDataConnection_(FTPCmd.NLST.getCommand(), null);
		
		if (socket == null) {
			return false;
		}
		// 获取Socket输入流
		InputStream is = socket.getInputStream();
		
		try {
                        // 写出到本地文件
			return writeToFile(is, local);
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			IOUtils.closeQuietly(is);
			IOUtils.closeQuietly(socket);
		}
		return false;
	}
	
	private boolean writeToFile(InputStream is, File local) {
		BufferedWriter bw = null;
		BufferedReader br = null;
		
		String line;
		try {
			bw = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(local)));
			br = new BufferedReader(new InputStreamReader(is, "UTF-8"));
			while((line = br.readLine()) != null) {
				bw.write(line);
				bw.newLine();
			}
			bw.flush();
			return true;
		} catch (IOException e) {
			LOGGER.error("列出FTP服务器文件过程中, 在写出文件时出现异常.", e);
			return false;
		} finally {
			IOUtils.closeQuietly(bw);
			IOUtils.closeQuietly(br);
		}
	}
}



0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:469606次
    • 积分:4895
    • 等级:
    • 排名:第5784名
    • 原创:70篇
    • 转载:0篇
    • 译文:12篇
    • 评论:284条
    文章分类
    最新评论