用Java实现某个目录下指定文件类型的内容合并

  有一个任务,需要把一个项目中的所有Java文件代码合并到一个文件里,几百个文件要是一个一个复制岂不是累死,所以直接写了一小段代码自动合并。
  思路是先对指定目录进行搜索,获取所有指定文件的File对象,然后进行IO操作就可以了。


代码如下:

package merge;

import java.io.BufferedOutputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.util.ArrayList;

public class Merge {
    static File targetPath = new File("指定目录路径");
    static ArrayList<File> pathList = new ArrayList<File>();

    public static void main(String[] args) throws Exception {
        if (targetPath.exists()) { // 判断是否为有效目录
            dfsPath(targetPath);
            fileIO();
        } else {
            throw new Exception("路径错误");
        }
    }

    /**
     * 深度优先搜索指定文件
     * 
     * @param file
     */
    public static void dfsPath(File file) {
        for (File indexFile : file.listFiles()) {
            if (indexFile.isDirectory()) {
                dfsPath(indexFile);
            }
            if (indexFile.isFile()) {
                if (indexFile.getName().contains(".java")) { // 判断文件类型
                    pathList.add(indexFile);
                }
            }
        }
    }

    /**
     * 文件IO操作
     * 
     * @throws Exception
     */
    public static void fileIO() throws Exception {
        File outFile = new File("out.txt");
        BufferedOutputStream outputStream = new BufferedOutputStream(new FileOutputStream(outFile));
        for (File file : pathList) {
            InputStream in = new FileInputStream(file);
            byte[] temp = new byte[1024];
            int readLength = 0;
            while ((readLength = in.read(temp)) != -1) {
                outputStream.write(temp, 0, readLength);
            }
            in.close();
            outputStream.write("\r\n".getBytes()); // 添加一个换行
            outputStream.flush();
        }
        outputStream.close();
    }
}
### 回答1: 您可以使用以下命令将HDFS目录中大于2k的文件下载到本地并显示文件内容: ``` hdfs dfs -getmerge -nl -size 2k+ hdfs://<namenode>:<port>/<hdfs_directory> <local_file> && cat <local_file> ``` 其中,`<namenode>`是HDFS的NameNode地址,`<port>`是HDFS的端口号,`<hdfs_directory>`是要下载的HDFS目录,`<local_file>`是要保存到本地的文件名。 这个命令会将HDFS目录中大于2k的文件合并成一个文件,并将其下载到本地。`-nl`选项表示在文件末尾添加换行符,`-size 2k+`选项表示只下载大于2k的文件。 下载完成后,`cat`命令会将文件内容显示在终端上。 ### 回答2: 要实现将用户指定的某个HDFS目录中的大于2k的文件下载到本地,并显示文件内容,可以按照以下步骤进行操作: 1. 首先,需要连接到Hadoop集群的HDFS。可以使用Hadoop提供的命令行工具或者编程语言中的Hadoop API进行连接。 2. 用户通过输入给定的HDFS目录路径,可以使用程序接收该路径作为输入参数。比如,可以使用Java中的Scanner类来读取用户的输入。 3. 接下来,可以使用Hadoop的FileSystem API来访问HDFS中的文件目录。通过调用FileSystem对象的listStatus()方法,可以获取指定目录中的文件和子目录列表。 4. 对于每个文件,通过调用getFileStatus()方法获取文件的状态信息,其中包括文件的大小。可以比较文件的大小是否大于2k,如果大于,则进行下载和显示。 5. 下载文件可以使用FileSystem对象的copyToLocalFile()方法,将HDFS上的文件复制到本地文件系统。 6. 文件下载完成后,可以使用编程语言提供的文件操作功能,如Java中的FileReader和BufferedReader类,来读取并显示文件内容。 7. 重复4-6步骤,直到处理完所有大于2k的文件。 8. 最后,程序可以输出一条消息,表明所有文件已成功下载和显示。 通过以上步骤可以实现将用户指定的某个HDFS目录中的大于2k的文件下载到本地并显示文件内容。 ### 回答3: 通过使用Hadoop的命令行工具和Linux的命令,我们可以实现将用户指定的某个HDFS目录中的大于2KB的文件下载到本地,并显示文件内容。 以下是实现此任务的步骤: 1. 首先,使用`hdfs dfs -ls`命令列出用户指定的HDFS目录中的所有文件和子目录。例如,假设用户指定的HDFS目录是`/user/username/hdfs_dir`,可以使用以下命令获得该目录下的所有文件和子目录的列表: ``` hdfs dfs -ls /user/username/hdfs_dir ``` 2. 对于每个文件,我们需要检查其大小是否大于2KB。可以使用`hdfs dfs -test -z`命令来检查文件大小。此命令返回的退出码为0表示文件为空,而我们的目标是找到大于2KB的文件。因此,可以使用以下命令完成此操作: ``` if [ $(hdfs dfs -test -z /user/username/hdfs_dir/filename) = 1 ]; then //文件大于2KB fi ``` 3. 对于大于2KB的文件,我们可以使用`hdfs dfs -get`命令将其下载到本地。使用`-get`选项时,我们可以指定本地路径来保存文件。例如,可以使用以下命令将HDFS中的文件下载到本地的指定目录(如`/local_dir`): ``` hdfs dfs -get /user/username/hdfs_dir/filename /local_dir/ ``` 4. 最后,我们可以使用`cat`命令显示下载的文件内容。例如,假设我们将文件下载到了`/local_dir`目录中,可以使用以下命令显示文件内容: ``` cat /local_dir/filename ``` 通过反复执行步骤2至步骤4,可以下载并显示所有大于2KB的文件内容。 请注意,以上步骤的命令只是示例,实际使用时需要根据具体情况进行适当修改。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值