4.5.1.搭建 Hadoop 开发环境我们在工作中写完的各种代码是在服务器中运行的,HDFS 的操作代码也不例外。在开
发阶段,我们使用 windows 下的 eclipse 作为开发环境,访问运行在虚拟机中的 HDFS。也就是通过在本地的 eclipse 中的 java 代码访问远程 linux 中的 hdfs。
要使用宿主机中的 java 代码访问客户机中的 hdfs,需要保证以下几点:
确保宿主机与客户机的网络是互通的
确保宿主机和客户机的防火墙都关闭,因为很多端口需要通过,为了减少防火墙配置,
直接关闭
确保宿主机与客户机使用的 jdk 版本一致。如果客户机使用 jdk6,宿主机使用 jdk7,那
么代码运行时会报不支持的版本的错误
宿主机的登录用户名必须与客户机的用户名一直。比如我们 linux 使用的是 root 用户,
那么 windows 也要使用 root 用户,否则会报权限异常
配置环境变量
导入所需jar包
连接hdfs
import com.sun.scenario.effect.impl.sw.sse.SSEBlend_SRC_OUTPeer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Before;
import org.junit.Test;
import java.io.*;
import java.net.URI;
import java.net.URISyntaxException;
public class java_hdfs {
//自定义文件系统,类变量
FileSystem fs=null;
//预处理,@Test之前
@Before
public void inint() throws URISyntaxException, IOException, InterruptedException {
fs=FileSystem.get(new URI("hdfs://192.168.18.129:9000"),new Configuration(),"root");
}
}
测试
import com.sun.scenario.effect.impl.sw.sse.SSEBlend_SRC_OUTPeer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Before;
import org.junit.Test;
import java.io.*;
import java.net.URI;
import java.net.URISyntaxException;
public class java_hdfs {
//自定义文件系统,类变量
FileSystem fs=null;
//预处理,@Test之前
@Before
public void inint() throws URISyntaxException, IOException, InterruptedException {
fs=FileSystem.get(new URI("hdfs://192.168.18.129:9000"),new Configuration(),"root");
}
@Test
public void printFS(){
System.out.println(fs);
}
}
创建文件夹
@Test
public void test() throws IOException {
//创建文件夹
final String pathString = "/d1";
boolean exists = fs.exists(new Path(pathString));
if(!exists){
boolean result = fs.mkdirs(new Path(pathString));
System.out.println(result);
}
}
上传文件
@Test
public void test2() throws IOException {
//上传文件
InputStream in = new FileInputStream("/root/install.log");
OutputStream out = fs.create(new Path("/log123.log"));
IOUtils.copyBytes(in, out, 1024, true);
}
删除文件
@Test
public void test3() throws IOException {
//删除文件
boolean flag = fs.delete(new Path("/d1"), true);
System.out.println(flag);
}
4626