分布式文件存储hdfs Java API读写示例

最新推荐文章于 2024-07-25 16:52:43 发布

蔚蓝色天空sky

最新推荐文章于 2024-07-25 16:52:43 发布

阅读量707

点赞数

分类专栏： hadoop 文章标签： hdfs hdfs java api

本文链接：https://blog.csdn.net/ytangdigl/article/details/109206982

版权

本文介绍了如何通过Java API进行HDFS文件系统的读写操作，包括在Maven工程中引入hadoop依赖，配置Hadoop的相关XML文件。在实践过程中遇到了权限错误，详细分析了`AccessControlException`的问题，并提供了解决方案，即修改hdfs-site.xml配置并重启HDFS服务。

摘要由CSDN通过智能技术生成

1、新建一个maven工程，pom.xml中添加hadoop-common,hadoop-hdfs引用。

<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-common</artifactId>
		<version>2.7.0</version>
</dependency>
	
<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-hdfs</artifactId>
		<version>2.7.0</version>
</dependency>

2、将部署在centos7上的hadoop的配置文件core-site.xml、hdfs-site.xml、log4j.properties拷贝到工程中的resources目录下，

在这里插入图片描述

3、hdfs读文件示例

package com.che.hdfs;

import java.io.IOException;
import java.io.OutputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

/**
 * hdfs 读文件
 *
 */
public class FileRead {
   

	public static void main