HDFS Java API上传文件

在hdfs 目录下上传文件

(上传一个hadoop-2.7.7.tar.gz安装包)
要求:
(1)以Java API方式写代码完成文件夹创建;
(2)以Java API文件流的方式完成hadoop-2.7.7.tar.gz文件的上传;

package hadoop;
//多个文件
//一个文件多个文件块,一个块放在多个host上
//三级循环
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.apache.hadoop.io.IOUtils;
/**
* 
* hdfs常用api
*/
public class HDFSAPITest {

	public static void main(String[] args) throws IOException, InterruptedException, URISyntaxException {
		Configuration conf = new Configuration();
		FileSystem fs = FileSystem.get(new URI("hdfs://hadoop01:9000"), conf, "hadoop01");
		// 创建文件夹/data
		Path path = new Path("/data");
		// 文件是否存在
		boolean b = fs.exists(path);
		if (!b) {
			fs.mkdirs(path);
		}
//		//删除文件夹的操作
//		fs.delete(path);
//		fs.deleteOnExit(path);
//		fs.delete(path, true);

		// 获取指定目录下的文件列表 只能获取文件列表,获取不到文件夹 shift+Ctrl+L
		RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(path, false);
		// 遍历迭代器
		while (listFiles.hasNext()) {
			LocatedFileStatus next = listFiles.next();
			System.out.println(next.getPath());
			System.out.println(next.getReplication());
			// 返回每一个文件的块信息,数组长度代表块的个数,每一个块代表数组中的一个元素
			BlockLocation[] blockLocations = next.getBlockLocations();
			for (BlockLocation bl : blockLocations) {
				System.out.println(bl);
				System.out.println("block size=" + bl.getLength());
			}
		}

		// 获取指定目录下的文件状态信息
		FileStatus[] listStatus = fs.listStatus(new Path("/"));
		for (FileStatus fst : listStatus) {
			System.out.println(fst);
			System.out.println(fst.isDirectory());
			System.out.println(fst.isFile());
			System.out.println(fst.getBlockSize());
		}

		// 流的形式上传/下载 IOUtils工具类
		 //文件上传:本地(输入流)普通的java输入流-----hdfs(输出流)
		FileInputStream in = new FileInputStream(new File("D:\\hadoop-2.7.7.tar.gz"));//本地windows系统的文件路径
		FSDataOutputStream out = fs.create(new Path("/data/package")); // 必须指定hdfs目录一个文件,如果没有可以先建 
		IOUtils.copyBytes(in, out, 4096);

		// 文件下载:hdfs(输入流)----本地(输出流)
		FSDataInputStream fsin = fs.open(new Path("/data/package"));
		FileOutputStream fsout = new FileOutputStream(new File("D:\\"));
		IOUtils.copyBytes(fsin, fsout, 4096);
		// IOUtils操作完会自动关闭流,不用再执行 in.close() 和 out.close()

	}

}

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
要实现Hadoop HDFS Java API,可以按照以下步骤进行操作: 1. 首先,需要安装Hadoop集群和配置HDFS。可以根据自己的需求进行安装和配置,也可以使用现有的Hadoop集群。 2. 然后需要在Java项目中添加Hadoop的依赖库,可以通过Maven或手动添加。 3. 接下来,需要创建一个Configuration对象来配置Hadoop的参数,例如HDFS的地址、用户名、文件系统类型等。 4. 通过Configuration对象创建一个FileSystem对象,该对象可以用来进行HDFS文件系统的操作,例如创建目录、上传文件、下载文件等。 5. 使用FileSystem对象进行HDFS文件系统的操作,例如创建目录、上传文件、下载文件等。可以使用HDFS的Path对象来指定文件或目录的路径。 6. 最后,需要闭FileSystem对象,以释放资源。 下面是一个示例代码,演示如何使用Hadoop HDFS Java API上传文件HDFS: ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.IOException; import java.io.InputStream; import java.net.URI; import java.nio.charset.StandardCharsets; public class HdfsExample { public static void main(String[] args) throws IOException { Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://localhost:9000"); conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem"); FileSystem fs = FileSystem.get(URI.create("/"), conf, "hadoop"); Path file = new Path("/test.txt"); InputStream in = new ByteArrayInputStream("Hello World!".getBytes(StandardCharsets.UTF_8)); fs.mkdirs(file.getParent()); OutputStream out = fs.create(file); IOUtils.copyBytes(in, out, 4096, true); fs.close(); } } ``` 这段代码首先创建了一个Configuration对象,设置了HDFS的地址和用户名,并创建了一个FileSystem对象。然后创建了一个Path对象,指定上传文件的路径。接下来,创建了一个InputStream对象,用于读取上传文件的内容。然后先创建了父目录,最后创建了一个OutputStream对象,用于将文件内容写入到HDFS中。最后闭FileSystem对象。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值