package com.atguigu.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
public class HdfsClient {
private FileSystem fs;
@Before
//因为一般前面和最后的步骤一样,可以封装起来
public void init() throws URISyntaxException, IOException, InterruptedException {
//连接的集群地址
URI uri = new URI("hdfs://hadoop102:8020");
//创建一个配置文件
Configuration configuration = new Configuration();
//不是对应的用户会报权限不够的错误
String user = "atguigu";
//1.获取到客户端对象
fs = FileSystem.get(uri, configuration,user);
}
@After
public void close() throws IOException {
//3.关闭资源
fs.close();
}
/*
创建目录
*/
@Test
public void testmkdir() throws URISyntaxException, IOException, InterruptedException {
//2.创建一个文件夹
fs.mkdirs(new Path("/xiyou/huaguoshan1"));
}
/*
上传
*/
@Test
public void testPut() throws IOException {
//参数解读:参数1:表示是否删除原数据;参数2:是否允许覆盖;参数3:原数据路径;参数4:目的地路径
fs.copyFromLocalFile(true,false,new Path("D:\\code\\Hadoop\\sunwukong.txt"),new Path("hdfs://hadoop102/xiyou/huaguoshan"));
}
}
执行顺序:@Before里的内容、@Test里的内容、@After里的内容
@Before里的内容:一般都是连接集群地址、创建配置文件、给出用户名、利用前三个参数获取客户端对象,这部分都是一样的,因此封装成init方法;
@After里的内容:关闭资源,这部分都是一样的,因此封装成init方法;
@Test里的内容:不同的任务不一样
注意:导入包时用的是hadoop对应的,像Configuration有好几个包的选项