头歌答案-分布式文件系统HDFS

目录

第1关：HDFS的基本操作

第2关：HDFS-JAVA接口之读取文件 

第3关：HDFS-JAVA接口之上传文件

第4关：HDFS-JAVA接口之删除文件 

---

第1关：HDFS的基本操作

# 1. 启动Hadoop
start-all.sh   # 启动Hadoop集群
# 或使用以下两个命令分别启动
start-dfs.sh
start-yarn.sh

# 2. 在HDFS创建目录
hadoop fs -mkdir -p /usr/output/

# 3. 创建本地文件hello.txt并添加内容
echo "HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。" > hello.txt

# 4. 将hello.txt上传至HDFS指定目录
hadoop fs -put hello.txt /usr/output/

# 5. 删除HDFS的指定目录
hadoop fs -rm -r /user/hadoop

# 6. 将HDFS的文件复制到本地目录
hadoop fs -get /usr/output/hello.txt /usr/local/

第2关：HDFS-JAVA接口之读取文件 

package step2;

import java.io.IOException;
import java.io.InputStream;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class FileSystemCat {
    
    public static void main(String[] args) throws IOException {
        //请在Begin-End之间添加你的代码，完成任务要求。
        //请按照左侧的编程要求进行编写代码
        //文件地址为 "hdfs://localhost:9000/user/hadoop/task.txt"
        /********* Begin *********/
        
        String uri = "hdfs://localhost:9000/user/hadoop/task.txt";
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(URI.create(uri), conf);
        
        InputStream in = null;
        try {
            in = fs.open(new Path(uri));
            IOUtils.copyBytes(in, System.out, 4096, false);
        } finally {
            IOUtils.closeStream(in);
        }
        
        /********* End *********/
    }
}

第3关：HDFS-JAVA接口之上传文件

# 启动Hadoop
start-all.sh

# 创建目录（如果不存在）
mkdir -p /develop/input/

# 创建文件并写入内容
cat > /develop/input/hello.txt << 'EOF'
迢迢牵牛星，皎皎河汉女。
纤纤擢素手，札札弄机杼。
终日不成章，泣涕零如雨。
河汉清且浅，相去复几许？
盈盈一水间，脉脉不得语。
《迢迢牵牛星》
EOF

# 确保文件写入成功
cat /develop/input/hello.txt

# 创建HDFS目标目录（如果不存在）
hadoop fs -mkdir -p /user/tmp/

package step3;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStream;
import java.net.URI;
import java.io.File;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;

public class FileSystemUpload {
   
   public static void main(String[] args) throws IOException {
       /********* Begin *********/
       String localSrc = "/develop/input/hello.txt";
       String dst = "hdfs://localhost:9000/user/tmp/hello.txt";
       
       Configuration conf = new Configuration();
       FileSystem fs = FileSystem.get(URI.create(dst), conf);
       
       // 获取文件大小
       File localFile = new File(localSrc);
       final long fileSize = localFile.length();
       
       InputStream in = null;
       FSDataOutputStream out = null;
       
       try {
           in = new BufferedInputStream(new FileInputStream(localFile));
           
           // 显示初始进度
           System.out.println("总进度0%");
           
           out = fs.create(new Path(dst), new Progressable() {
               public void progress() {
                   // 这里什么都不做，仅用于创建输出流
               }
           });
           
           // 复制文件内容
           IOUtils.copyBytes(in, out, 4096, false);
           
           // 完成后显示100%进度
           System.out.println("总进度100%");
           
           // 显示文件内容
           InputStream contentIn = fs.open(new Path(dst));
           IOUtils.copyBytes(contentIn, System.out, 4096, true);
           
       } finally {
           IOUtils.closeStream(in);
           IOUtils.closeStream(out);
       }
       /********* End *********/
   }
}

第4关：HDFS-JAVA接口之删除文件 

package step4;

import java.io.IOException;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;

public class FileSystemDelete {
   
   public static void main(String[] args) throws IOException {
       /********* Begin *********/
       // 创建Configuration对象
       Configuration conf = new Configuration();
       FileSystem fs = FileSystem.get(URI.create("hdfs://localhost:9000"), conf);
       
       try {
           // 1. 删除/user/hadoop/目录 (使用递归删除因为目录非空)
           Path hadoopPath = new Path("/user/hadoop");
           fs.delete(hadoopPath, true);
           
           // 2. 删除/tmp/test/目录
           Path testPath = new Path("/tmp/test");
           fs.delete(testPath, true);
           
           // 3. 只列出根目录下的文件和文件夹
           FileStatus[] rootStatus = fs.listStatus(new Path("/"));
           for (FileStatus status : rootStatus) {
               System.out.println("hdfs://localhost:9000" + status.getPath().toUri().getPath());
           }
           
       } finally {
           fs.close();
       }
       /********* End *********/
   }
}