java程序实现对HDFS的操作之新建文件夹

  1. 获取所有依赖的jar包,在hadoop-2.7.3/share/hadoop/common/以及hadoop-2.7.3/share/hadoop/hdfs/
  2. 权限问题–4种解决方法:

1、设置环境变量 HADOOP_USER_NAME = root
2、通过使用java的 -D 参数
3、hdfs-site.xml配置文件中的def.permissions —> false
4、-chmod 改变HDFS文件的权限

不能在safe model 下

  1. 第一种权限解决方式对应的程序
public class mkdir {
	
	@Test
	public void testMKDir() throws Exception{
		// 指定当前hadoop的用户
		System.setProperty("HADOOP_USER_ANME","root");	
		
		//配置参数:指定NameNode地址
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://192.168.118.111:9000");
		
		// 创建一个客户端
		FileSystem client = FileSystem.get(conf);
		
		// 创建目录
		client.mkdirs(new Path("/test"));
		
		// 关闭客户端
		client.close();
		
	}

}
  1. 第二种权限解决方式对应的程序
  • 配置
    在这里插入图片描述
    在这里插入图片描述
	@Test
	public void testMKDir2() throws Exception{
		
		//配置参数:指定NameNode地址
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://192.168.118.111:9000");
		
		// 创建一个客户端
		FileSystem client = FileSystem.get(conf);
		
		// 创建目录
		client.mkdirs(new Path("/test2"));
		
		// 关闭客户端
		client.close();
		
	}
  1. 第三种和第四种方式,在HDFS上面配置好权限,
	@Test
	public void testMKDir2() throws Exception{
		
		//配置参数:指定NameNode地址
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://192.168.118.111:9000");
		
		// 创建一个客户端
		FileSystem client = FileSystem.get(conf);
		
		// 创建目录
		client.mkdirs(new Path("/test2"));
		
		// 关闭客户端
		client.close();
		
	}
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
您好,要在Java中下载HDFS文件或文件夹,可以使用Hadoop API中的FileSystem类。 以下是下载HDFS文件的示例代码: ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.IOException; import java.io.OutputStream; import java.net.URI; import java.net.URISyntaxException; public class HDFSFileDownload { public static void main(String[] args) throws IOException, URISyntaxException { String hdfsUri = "hdfs://localhost:9000"; String filePath = "/user/hadoop/example.txt"; String localPath = "example.txt"; Configuration config = new Configuration(); // 设置HDFS的URI config.set("fs.defaultFS", hdfsUri); // 创建HDFS文件系统对象 FileSystem fs = FileSystem.get(new URI(hdfsUri), config); // 创建HDFS文件路径对象 Path hdfsPath = new Path(filePath); // 创建本地文件路径对象 Path localPathObj = new Path(localPath); // 打开HDFS文件输入流 OutputStream outputStream = fs.create(localPathObj); // 从HDFS文件中复制数据到本地文件 fs.copyToLocalFile(hdfsPath, localPathObj); // 关闭输出流和文件系统 outputStream.close(); fs.close(); } } ``` 要下载HDFS文件夹,可以使用递归函数来遍历文件夹中的所有文件并下载它们。以下是示例代码: ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; public class HDFSFolderDownload { public static void main(String[] args) throws IOException, URISyntaxException { String hdfsUri = "hdfs://localhost:9000"; String folderPath = "/user/hadoop/example"; String localPath = "example"; Configuration config = new Configuration(); // 设置HDFS的URI config.set("fs.defaultFS", hdfsUri); // 创建HDFS文件系统对象 FileSystem fs = FileSystem.get(new URI(hdfsUri), config); // 创建HDFS文件夹路径对象 Path hdfsFolderPath = new Path(folderPath); // 创建本地文件夹路径对象 Path localFolderPath = new Path(localPath); // 如果本地文件夹不存在,则创建它 if (!localFolderPath.exists()) { localFolderPath.mkdir(); } // 遍历HDFS文件夹并下载所有文件 downloadFolder(fs, hdfsFolderPath, localFolderPath); // 关闭文件系统 fs.close(); } public static void downloadFolder(FileSystem fs, Path hdfsFolderPath, Path localFolderPath) throws IOException { // 获取HDFS文件系统中的所有文件和文件夹 Path[] pathList = fs.listPaths(hdfsFolderPath); // 遍历文件和文件夹 for (Path path : pathList) { if (fs.isDirectory(path)) { // 如果是文件夹,则递归下载它 Path localPath = new Path(localFolderPath, path.getName()); downloadFolder(fs, path, localPath); } else { // 如果是文件,则下载它 Path localPath = new Path(localFolderPath, path.getName()); fs.copyToLocalFile(path, localPath); } } } } ``` 希望这些代码能够帮助到您!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值