【转】java如何从ftp下载超大文件

最新推荐文章于 2024-04-10 17:42:03 发布
最新推荐文章于 2024-04-10 17:42:03 发布
阅读量733 收藏
点赞数
分类专栏： JAVA 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sobigring/article/details/84466230
版权
转至： http://www.2cto.com/kf/201206/135869.html 

package downloadMap;

import java.io.BufferedInputStream;
import java.io.IOException;
import java.io.BufferedOutputStream;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStream;
import java.text.DateFormat;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.Enumeration;
import java.util.List;
import java.util.zip.ZipEntry;
import java.util.zip.ZipFile;
import java.util.zip.ZipOutputStream;
import javax.swing.JOptionPane;
import javax.swing.ProgressMonitorInputStream;
import TIp.Jframet;
import doFile.ZipToFile;
import sun.net.TelnetInputStream;
import sun.net.TelnetOutputStream;
import sun.net.ftp.FtpClient;
public class FtpZipOption {
/**
  *
  * 从ftp服务器下载zip文件
  *
  * @param
  *
  *@throws Exception
  **/
public static void downLoadZipFile(String wantFileName ) throws Exception {
/*new Thread(){
  public void run(){
   Jframet jf = new Jframet("正在链接ftp,qing'shao'h", "确定");
   jf.jb.setVisible(false);
  }
}.start();*/
  String[] localFileNameArray = getLocalFileNameArray("c:\\BaseMap");// 得到所有已经下载的tb文件名
  File downFile=new File("c:\\BaseMap");
  if(!downFile.exists()) downFile.mkdir();

  if (ifToDownLoadFile(wantFileName, localFileNameArray)) {// 判断是否需要下载
   String str; // 输出信息字符串
   /**
    *
    * 和服务器建立连接
    */
   FtpClient ftp = new FtpClient("172.18.2.66"); // 根据服务器ip建立连接

   //JOptionPane.showMessageDialog(null, "");
   str = ftp.getResponseString(); // 获得响应信息
   System.out.println("连接服务器:" + str);

   /**
    *
    * 登陆到Ftp服务器
    */
   ftp.login("admin", "1"); // 根据用户名和密码登录服务器
   str = ftp.getResponseString();
   System.out.println("登录:" + str);


   /**
    *
    * 打开并定位到服务器目录
    */
   ftp.cd("mapdata2"); // 打开服务器上的文件目录
   str = ftp.getResponseString();
   System.out.println("打开服务器目录:" + str);
   ftp.binary();// 转化为二进制的文件
   TelnetInputStream ftpIn = ftp.get(wantFileName + ".zip");// 找到要读取的文件

   /*Jframet jf=new Jframet("正在下载地图，请稍候...","确定");
   jf.jb.setVisible(false);*/
   long fileLength=FtpZipOption.getFileSize("wantFileName.zip");
   System.out.println(fileLength);
   byte[] buf = new byte[204800];
   int bufsize = 0;
   File f=new File("c:\\BaseMap");
   if(!f.exists()) f.mkdirs();
   String toLocalPath = "c:\\BaseMap\\" + wantFileName + ".zip";
   /*File f=new File(toLocalPath);
   f.mkdirs();*/
   FileOutputStream ftpOut = new FileOutputStream(toLocalPath);
   int readLine=0;
   while ((bufsize = ftpIn.read(buf, 0, buf.length)) != -1) {
    //System.out.println(bufsize);
    ftpOut.write(buf, 0, bufsize);
    readLine=+bufsize;

   }
   System.out.println(readLine);
   ftpOut.close();
   ftpIn.close();
   ZipToFile ziptofile=new ZipToFile();

         String  PostFilePath = "c:\\BaseMap";  
          ziptofile.zipToFile(toLocalPath, PostFilePath);
  // JOptionPane.showMessageDialog(null, "下载" + wantFileName + ".zip完成!");
   System.out.println("下载" + wantFileName + ".zip完成!");
  /* jf.jl.setText("下载地图成功");
   jf.jb.setVisible(true);*/
  } else {

  }
}
public static long getFileSize(String filename) throws IOException {
  String str; // 输出信息字符串
  /**
   *
   * 和服务器建立连接
   */
  FtpClient ftp = new FtpClient("172.18.2.66"); // 根据服务器ip建立连接
  str = ftp.getResponseString(); // 获得响应信息
  System.out.println("连接服务器:" + str);
  /**
   *
   * 登陆到Ftp服务器
   */
  ftp.login("admin", "1"); // 根据用户名和密码登录服务器
  str = ftp.getResponseString();
  System.out.println("登录:" + str);
  /**
   *
   * 打开并定位到服务器目录
   */
  ftp.cd("mapdata2"); // 打开服务器上的文件目录
  str = ftp.getResponseString();
  System.out.println("打开服务器目录:" + str);
  ftp.binary();// 转化为二进制的文件
  long fileSize = -1;
  String s = "SIZE " + filename + "\r\n";
  ftp.sendServer(s);
  try {
  int status = ftp.readServerResponse();
  if (status == 213) {
  String msg = ftp.getResponseString();
  fileSize = Long.parseLong(msg.substring(3).trim());
  }
  } catch (IOException e) {
  e.printStackTrace();
  }
  return fileSize;
  }
// 上传文件;并返回上传文件的信息
/*private static String upLoadZipToServer(String filename) throws Exception {
  String str; // 输出信息字符串
  String timeStr = getNowTime();// 获得当前时间
  String recordStr = "上传时间:" + timeStr + "\r\n";// 信息记录字符串
  *//**
   *
   * 和服务器建立连接
   *//*
  FtpClient ftp = new FtpClient("192.168.39.189"); // 根据服务器ip建立连接
  str = ftp.getResponseString(); // 获得响应信息
  System.out.println(str);
  recordStr += "连接服务器:" + str + "\r\n";
  *//**
   *
   * 登陆到Ftp服务器
   *//*
  ftp.login("test", "test"); // 根据用户名和密码登录服务器
  str = ftp.getResponseString();
  System.out.println(str);
  recordStr += "登录:" + str + "\r\n";
  *//**
   *
   * 打开并定位到test目录
   *//*
  ftp.cd("uptest"); // 打开服务器上的test文件夹
  ftp.binary();// 转化为二进制的文件
  str = ftp.getResponseString();
  System.out.println(str);
  FileInputStream is = null;
  TelnetOutputStream os = null;
  try {
   // "upftpfile"用ftp上传后的新文件名
   os = ftp.put("uptest.zip");
   File file_in = new java.io.File(filename);
   if (file_in.length() == 0) {
    return "上传文件为空!";
   }
   is = new FileInputStream(file_in);
   byte[] bytes = new byte[1024];
   int c;
   while ((c = is.read(bytes)) != -1) {
    os.write(bytes, 0, c);
   }
  } finally {
   if (is != null) {
    is.close();
   }
   if (os != null) {
    os.close();
   }
  }
  return "上传文件成功!";
}*/
/**
  *
  * zip压缩功能,压缩sourceFile(文件夹目录)下所有文件，包括子目录
  *
  * @param sourceFile
  *            ,待压缩目录; toFolerName,压缩完毕生成的目录
  *
  * @throws Exception
  */
/*public static void fileToZip(String sourceFile, String toFolerName)
   throws Exception {
  List fileList = getSubFiles(new File(sourceFile)); // 得到待压缩的文件夹的所有内容
  ZipOutputStream zos = new ZipOutputStream(new FileOutputStream(
  toFolerName));
  ZipEntry ze = null;
  byte[] buf = new byte[1024];
  int readLen = 0;
  for (int i = 0; i < fileList.size(); i++) { // 遍历要压缩的所有子文件
   File file = (File) fileList.get(i);
   System.out.println("压缩到的文件名:" + file.getName());
   ze = new ZipEntry(getAbsFileName(sourceFile, file));
   ze.setSize(file.length());
   ze.setTime(file.lastModified());
   zos.putNextEntry(ze);
   InputStream is = new BufferedInputStream(new FileInputStream(file));
   while ((readLen = is.read(buf, 0, 1024)) != -1) {
    zos.write(buf, 0, readLen);
   }
   is.close();
  }
  zos.close();
  System.out.println("压缩完成!");
}
*//**
  *
  * 解压zip文件
  *
  * @param sourceFile
  *            ,待解压的zip文件; toFolder,解压后的存放路径
  *
  * @throws Exception
  **//*
public static void zipToFile(String sourceFile, String toFolder)
   throws Exception {
  String toDisk = toFolder;// 接收解压后的存放路径
  ZipFile zfile = new ZipFile(sourceFile);// 连接待解压文件
  System.out.println("要解压的文件是:" + zfile.getName());
  Enumeration zList = zfile.entries();// 得到zip包里的所有元素
  ZipEntry ze = null;
  byte[] buf = new byte[1024];
  while (zList.hasMoreElements()) {
   ze = (ZipEntry) zList.nextElement();
   if (ze.isDirectory()) {
    System.out.println("打开zip文件里的文件夹:" + ze.getName()
    + " skipped...");
    continue;
   }
   System.out.println("zip包里的文件: " + ze.getName() + "\t" + "大小为:"
   + ze.getSize() + "KB");
   // 以ZipEntry为参数得到一个InputStream，并写到OutputStream中
   OutputStream outputStream = new BufferedOutputStream(
   new FileOutputStream(getRealFileName(toDisk, ze.getName())));
   InputStream inputStream = new BufferedInputStream(zfile
   .getInputStream(ze));
   int readLen = 0;
   while ((readLen = inputStream.read(buf, 0, 1024)) != -1) {
    outputStream.write(buf, 0, readLen);
   }
   inputStream.close();
   outputStream.close();
   System.out.println("已经解压出:" + ze.getName());
  }
  zfile.close();
}
*//**
  *
  * 给定根目录，返回另一个文件名的相对路径，用于zip文件中的路径.
  *
  * @param baseDir
  *            java.lang.String 根目录
  *
  * @param realFileName
  *            java.io.File 实际的文件名
  *
  * @return 相对文件名
  *//*
private static String getAbsFileName(String baseDir, File realFileName) {
  File real = realFileName;
  File base = new File(baseDir);
  String ret = real.getName();
  while (true) {
   real = real.getParentFile();
   if (real == null)
    break;
   if (real.equals(base))
    break;
   else
    ret = real.getName() + "/" + ret;
  }
  return ret;
}
*//**
  *
  * 取得指定目录下的所有文件列表，包括子目录.
  *
  * @param baseDir
  *            File 指定的目录
  *
  * @return 包含java.io.File的List
  *//*
private static List<File> getSubFiles(File baseDir) {
  List<File> ret = new ArrayList<File>();
  File[] tmp = baseDir.listFiles();
  for (int i = 0; i < tmp.length; i++) {
   if (tmp.isFile())
    ret.add(tmp);
   if (tmp.isDirectory())
    ret.addAll(getSubFiles(tmp));
  }
  return ret;
}
*//**
  *
  * 给定根目录，返回一个相对路径所对应的实际文件名.
  *
  * @param zippath
  *            指定根目录
  *
  * @param absFileName
  *            相对路径名，来自于ZipEntry中的name
  *
  * @return java.io.File 实际的文件
  *//*
private static File getRealFileName(String zippath, String absFileName) {
  String[] dirs = absFileName.split("/", absFileName.length());
  File ret = new File(zippath);// 创建文件对象
  if (dirs.length > 1) {
   for (int i = 0; i < dirs.length - 1; i++) {
    ret = new File(ret, dirs);
   }
  }
  if (!ret.exists()) {// 检测文件是否存在
   ret.mkdirs();// 创建此抽象路径名指定的目录
  }
  ret = new File(ret, dirs[dirs.length - 1]);// 根据ret 抽象路径名和child
             // 路径名字符串创建一个新File 实例
  return ret;
}
*/
/**
  *
  * 取得ftp服务器上某个目录下的所有文件名
  *
  * @param ftp
  *            , FtpClient类实例; folderName,服务器的文件夹名
  *
  * @throws Exception
  *
  * @return list 某目录下文件名列表
  **/
private static List getServerFileNameList(FtpClient ftp, String folderName)
   throws Exception {
  BufferedReader dr = new BufferedReader(new InputStreamReader(ftp
    .nameList(folderName)));
  List<String> list = new ArrayList<String>();
  String s;
  while ((s = dr.readLine()) != null) {
   list.add(s);
  }
  return list;
}
/**
  *
  * 得到已经下载的目录下的所有文件名的数组
  *
  * @param localPath
  *            本地的下载文件保存路径
  *
  * @return 该路径下所有tb文件名
  *
  * **/
private static String[] getLocalFileNameArray(String localPath) {
  File diskFile = new File(localPath);
  if (diskFile != null) {
   String[] fileNameList = diskFile.list();
   return fileNameList;
  } else {
   return null;
  }
}
/**
  *
  *获得当前系统时间 www.2cto.com
  */
/*public static String getNowTime() {
  String timeStr;
  DateFormat format = new SimpleDateFormat("yyyy-MM-dd HH-mm-ss");
  Date currentTime = new Date(System.currentTimeMillis());
  timeStr = format.format(currentTime);
  return timeStr;
}
public static String getWantFileName() throws Exception {
  *//** 得到当前的系统精确时间**//*
  Date currentTime = new Date(System.currentTimeMillis());
  *//** 接下来得到系统当前的年月日**//*
  DateFormat df1 = new SimpleDateFormat("yyyyMMdd");
  Date todayDate = new Date(System.currentTimeMillis());
  String todayStr = df1.format(todayDate);// 得到当前的年月日
  *//** 接下来得到四个比较时间的String类型；分别在00点，06点，12点和18点**//*
  String compareTimeStr1 = todayStr + "00";
  String compareTimeStr2 = todayStr + "06";
  String compareTimeStr3 = todayStr + "12";
  String compareTimeStr4 = todayStr + "18";
  *//** 接下来得到四个比较时间的date类型**//*
  DateFormat df2 = new SimpleDateFormat("yyyyMMddHH");
  Date compareTime1 = df2.parse(compareTimeStr1);
  Date compareTime2 = df2.parse(compareTimeStr2);
  Date compareTime3 = df2.parse(compareTimeStr3);
  Date compareTime4 = df2.parse(compareTimeStr4);
  *//** 接下来由当前系统时间和四个参照时间进行比较,找出该下载的文件名**//*
  if (currentTime.after(compareTime1) && currentTime.before(compareTime2)) {
   // 此时应该下载00点的文件,文件名为:compareTimeStr1
   System.out.println("此时要下载的文件名为:" + compareTimeStr1 + ".zip");
   return compareTimeStr1;
  } else if (currentTime.after(compareTime2)
    && currentTime.before(compareTime3)) {
   // 此时应该下载06点的文件,文件名为:compareTimeStr2
   System.out.println("此时要下载的文件名为:" + compareTimeStr2 + ".zip");
   return compareTimeStr2;
  } else if (currentTime.after(compareTime3)
    && currentTime.before(compareTime4)) {
   // 此时应该下载12点的文件,文件名为:compareTimeStr3
   System.out.println("此时要下载的文件名为:" + compareTimeStr3 + ".zip");
   return compareTimeStr3;
  } else if (currentTime.after(compareTime4)) {
   // 此时应该下载18点的文件,文件名为:compareTimeStr4
   System.out.println("此时要下载的文件名为:" + compareTimeStr4 + ".zip");
   return compareTimeStr4;
  } else {
   // nothing to do
   return null;
  }
}
*/
/**
  *
  * 判断此时是否需要下载文件
  *
  * @param wantFileName
  *            ,此时该下载的文件名; localFileNameArray ,本地已经有的文件名
  *
  * @return ture--需要下载; false--本地已经有了,不需要下载
  *
  * **/
public static boolean ifToDownLoadFile(String wantFileName,
   String[] localFileNameArray) {
  if (wantFileName == null && localFileNameArray == null) {// 当想要下载的文件名获得失败
   return false;
  } else if (wantFileName == null && localFileNameArray != null) {// 当想要下载的文件名获得失败
   return false;
  } else if (wantFileName != null && localFileNameArray == null) {// 当本地没有已下载的文件
   return true;
  } else if (wantFileName != null && localFileNameArray != null) {// 当要下载的文件在本地还没有
   if (localFileNameArray.length > 0) {
    for (int i = 0; i < localFileNameArray.length; i++) {
     if (localFileNameArray.equals(wantFileName + ".zip")) {
      return false;
     }
    }
    return true;
   } else {
    return true;
   }
  } else {
   return false;
  }
}
public static void main(String args[]) {
  try {
   long aa=FtpZipOption.getFileSize("2.zip");
   System.out.println(aa);
   FtpZipOption.downLoadZipFile("2");

  } catch (Exception e) {
   e.printStackTrace();
  }
}
}
sobigring
关注
专栏目录
Java实现FTP文件上传和下载
10-21
以下将详细介绍如何使用Java实现FTP文件上传和下载的步骤，以及涉及到的关键知识点。 首先，Java通过`java.net`和`javax.net`包提供了FTP功能，但这些原生API并不易用。因此，大多数开发人员会使用第三方库如Apache...
关于FTP下载大文件程序卡住以及执行方法时的线程阻塞
忆回首的博客
10-14 6950
文章介绍 本人新手第一次发博客，且经验也不是很丰富，可能还存在很多问题，希望有大佬能指导下，我这篇文章主要还是给个参考 话不多说，掏出我那长长的。。。 第一步：连接ftp服务器 连接这里要注意的是设置ftpclient超时属性一定要在connect（连接）前设置好，否则不会生效 其中阻塞问题是设置ftpClient.setSoTimeout(1 * 60 * 1000);这个属性是超时处...
使用ftpClient下载超大文件心得
senger_lcc的博客
05-16 9617
最近接到一个任务：使用java程序下载ftp上的文件；说明：下载ftp文件的教程网上一大堆，但我要下载的文件大多超过两个G的压缩包，用网上那一套代码时行不通；遇到的问题：文件下载到五百多兆时，在执行c = in.read(bytes)时返回值为-1，意味着其实没有下载完成，而程序却通知我下载已完成，实际解压的时候得知该文件并不是正确的压缩包。解决思路：赶在通知我下载完成之前，自行了断，然后重新登录...
FTP超大文件下载入库--断点续传发
最新发布
qq_44361270的博客
04-10 756
dao层，这个使用多线程读取文件，读一条addBatch();一条，需要批量提交。如果将所有一个文件的所有数据加载到内存中，会出现内存溢出问题。原因是因为默认缓冲区大小是1024，也就是1K，当然慢了，在调用上传API之前重新修改以下默认设置即可，如将缓冲区改为10M。FTP断点续传代码（公司ftp不支持多线程下载文件，可以设置多线程进行文件下载）对下载好的数据进行入库操作server层。
Ftp下载大文件卡住，Ftp下载文件很慢
u013984781的博客
10-25 3239
ftp客户端下载慢问题
FTPClient文件上传下载
熊浪的博客
01-06 2406
上传和下载使用不同权限的用户； 1、上传下载工具类 package com.suyun.utils; import org.apache.commons.net.ftp.FTP; import org.apache.commons.net.ftp.FTPClient; import org.apache.commons.net.ftp.FTPReply; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.spri.
java实现Ftp批量下载文件及解压
12-14
如果需要从FTP服务器的特定目录下载文件，可以使用`changeWorkingDirectory()`方法。 ```java ftp.changeWorkingDirectory("/path/to/directory"); ``` 4. **列出目录中的文件**： 使用`listNames()`或`list...
java操作ftp下载文件示例
09-04
以上就是一个基本的Java FTP文件下载流程。在实际应用中，你可能还需要处理各种异常，比如网络问题、权限问题等，并且在下载文件时，通常会将文件流包装成`BufferedInputStream`，然后用`FileOutputStream`写入本地...
Java实现ftp文件上传下载解决慢中文乱码多个文件下载等问题
09-01
在Java中实现FTP（File Transfer Protocol）文件上传和下载时，可能会遇到各种问题，如速度慢、中文乱码以及多文件下载等。以下将详细解释如何解决这些问题，并提供相关的代码示例。 首先，针对文件上传慢的问题，...
java下载ftp文件.txt
06-05
### Java下载FTP文件 在实际应用开发中，经常需要与FTP服务器进行交互，比如上传文件、下载文件等操作。Java提供了一套强大的工具和API来实现这些功能。下面我们将通过一个具体的示例来了解如何用Java实现从FTP...
Java实现FTP批量大文件上传下载
04-21
通过Java 实现FTP服务器上的大批量文件的上传和下载，处理大文件的上传和下载
使用FTPClient实现文件的上传下载
04-24
NULL 博文链接：https://1017401036.iteye.com/blog/2266160
FTPClient 批量文件下载 总结。
weixin_38202389的博客
11-05 2005
目标：从FTP客户端批量读取数据文件，并存入数据库中。 方法： 使用org.apache.commons.net.ftp.client.FtpClient 来读取文件。 使用jpa来存储。 遇到问题： 1、通过 ftpclient. retrieveFileStream(filename)读取文件流有的为空。 解决方法：这个有好几个原因，在网上查到有很多解决方法，但是在...
java ftp 大文件_java 如何从ftp下载超大文件
weixin_39827775的博客
02-12 1287
package downloadMap;import java.io.BufferedInputStream;import java.io.IOException;import java.io.BufferedOutputStream;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;i...
java实现FTP上传下载：FTPClient类进行FTP上传下载大文件(包含导致假死现象)
热门推荐
zzjstudent的专栏
06-16 1万+
1.首先，程序中设置ftp请求方式为被动模式，即程序去请求ftp服务器，要求服务器来打开一个端口，让客户端传输文件。这是基本的，但是无法避免上传阻塞问题。 2.其次，设置连接超时，数据传输超时等等，也无法避免阻塞。 3.接着，调用上传或下载后，调用stream.close()方法，同样无法避免阻塞，这是基本的操作，说明不了什么。 4.最后，我在程序中加入了上传下载listener(ftpcl
Java中FTP服务器实现文件的列表展示、文件的上传与下载
m0_73514610的博客
07-09 3097
③启动从属进程来处理客户进程发来的请求。从属进程对客户进程的请求处理完毕后即 终止，但从属进程在运行期间根据需要还可能创建其他一些子进程。④回到等待状态，继续接受其他客户进程发来的请求。在新建账号中输入自己的用户名以及密码，并选择你所需要的权限。可以看到主机IP有三个，那是因为电脑中含有虚拟机，可以在控制面板中找到网络和 Internet选择网络连接，右键禁用虚拟机。①打开熟知端口(端口号为21)，使客户进程能够连接上。②等待客户进程发出连接请求。
java ftp 上传下载服务器资源
javaG_T的博客
07-06 57
【代码】 java ftp 上传下载服务器资源。
java FtpClient文件下载方法
weixin_40388298的博客
08-25 2312
public void downloadFileStream(HttpServletResponse response, String path, String fileName) { OutputStream outputStream = null; FTPClient ftpClient = getFtpClient(); InputStream in = null; BufferedInputStream bis = null; try { int ind.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值