1、完整代码
package com.atguigu.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
public class HdfsClient {
private FileSystem fs;
@Before
//因为一般前面和最后的步骤一样,可以封装起来
public void init() throws URISyntaxException, IOException, InterruptedException {
//连接的集群地址
URI uri = new URI("hdfs://hadoop102:8020");
//创建一个配置文件
Configuration configuration = new Configuration();
configuration.set("dfs.replication","2");
//不是对应的用户会报权限不够的错误
String user = "atguigu";
//1.获取到客户端对象
fs = FileSystem.get(uri, configuration,user);
}
@After
public void close() throws IOException {
//3.关闭资源
fs.close();
}
/**
* 文件下载
*/
@Test
public void testGet() throws IOException {
//参数解读:参数1:表示是否删除原数据;参数2:原数据路径;参数3:目的地路径;参数4:校验
fs.copyToLocalFile(true,new Path("hdfs://hadoop102/xiyou/huaguoshan"),new Path("D:\\code\\Hadoop"),true);
}
/**
* 删除
*/
@Test
public void testRm() throws IOException {
//参数解读:参数1:要删除的路径;参数2:是否递归删除
//1、删除文件
fs.delete(new Path("/1.txt"),false);
//2、删除空目录
fs.delete(new Path("/output2"),false);
//3、删除非空目录(要递归删除)
fs.delete(new Path("/jinguo"),true);
}
/**
* 文件的更名和移动
*/
@Test
public void testmv() throws IOException {
//参数解读:参数1:原文件路径;参数2:目标文件路径
//对文件名称的修改
fs.rename(new Path("/input/word.txt"),new Path("/input/ss.txt"));
//文件移动、更名
fs.rename(new Path("/input/ss.txt"),new Path("/1.txt"));
//目录更名
fs.rename(new Path("/input"),new Path("/ouput"));
}
}
2、 各个功能
(1)文件下载
/**
* 文件下载
*/
@Test
public void testGet() throws IOException {
//参数解读:参数1:表示是否删除原数据;参数2:原数据路径;参数3:目的地路径;参数4:校验
fs.copyToLocalFile(true,new Path("hdfs://hadoop102/xiyou/huaguoshan"),new Path("D:\\code\\Hadoop"),true);
}
(2) 删除(分文件和目录)
/**
* 删除
*/
@Test
public void testRm() throws IOException {
//参数解读:参数1:要删除的路径;参数2:是否递归删除
//1、删除文件
fs.delete(new Path("/1.txt"),false);
//2、删除空目录
fs.delete(new Path("/output2"),false);
//3、删除非空目录(要递归删除)
fs.delete(new Path("/jinguo"),true);
}
(3)文件的更名和移动
/**
* 文件的更名和移动
*/
@Test
public void testmv() throws IOException {
//参数解读:参数1:原文件路径;参数2:目标文件路径
//对文件名称的修改
fs.rename(new Path("/input/word.txt"),new Path("/input/ss.txt"));
//文件移动、更名
fs.rename(new Path("/input/ss.txt"),new Path("/1.txt"));
//目录更名
fs.rename(new Path("/input"),new Path("/ouput"));
}
}