hadoop2.2.0&HDFS的java访问接口

暴龙战士丨

于 2022-05-02 01:09:08 发布

阅读量86

点赞数

文章标签： hdfs java hadoop

本文链接：https://blog.csdn.net/m0_65577703/article/details/124535823

版权

4.5.1.搭建 Hadoop 开发环境我们在工作中写完的各种代码是在服务器中运行的，HDFS 的操作代码也不例外。在开

发阶段，我们使用 windows 下的 eclipse 作为开发环境，访问运行在虚拟机中的 HDFS。也就是通过在本地的 eclipse 中的 java 代码访问远程 linux 中的 hdfs。

要使用宿主机中的 java 代码访问客户机中的 hdfs，需要保证以下几点：

确保宿主机与客户机的网络是互通的
确保宿主机和客户机的防火墙都关闭，因为很多端口需要通过，为了减少防火墙配置，
直接关闭

确保宿主机与客户机使用的 jdk 版本一致。如果客户机使用 jdk6，宿主机使用 jdk7，那
么代码运行时会报不支持的版本的错误

宿主机的登录用户名必须与客户机的用户名一直。比如我们 linux 使用的是 root 用户，
那么 windows 也要使用 root 用户，否则会报权限异常

配置环境变量

导入所需jar包

连接hdfs

import com.sun.scenario.effect.impl.sw.sse.SSEBlend_SRC_OUTPeer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Before;
import org.junit.Test;

import java.io.*;
import java.net.URI;
import java.net.URISyntaxException;

public class java_hdfs {
//自定义文件系统，类变量
FileSystem fs=null;
//预处理，@Test之前
@Before
public void inint() throws URISyntaxException, IOException, InterruptedException {
fs=FileSystem.get(new URI(“hdfs://192.168.18.129:9000”),new Configuration(),“root”);

}

测试

import java.io.*;
import java.net.URI;
import java.net.URISyntaxException;

}
@Test
public void printFS(){
    System.out.println(fs);
}

}

创建文件夹

@Test
public void test() throws IOException {
//创建文件夹
final String pathString = “/d1”;
boolean exists = fs.exists(new Path(pathString));
if(!exists){
boolean result = fs.mkdirs(new Path(pathString));
System.out.println(result);
}
}

上传文件

@Test
public void test2() throws IOException {
//上传文件
InputStream in = new FileInputStream(“/root/install.log”);
OutputStream out = fs.create(new Path(“/log123.log”));
IOUtils.copyBytes(in, out, 1024, true);
}

删除文件

@Test
public void test3() throws IOException {
//删除文件
boolean flag = fs.delete(new Path(“/d1”), true);
System.out.println(flag);
}