操作HDFS文件,约有以下两种方法
(1)shell,这个相信大家基本都会;
(2)Java API 的操作
这次主要记录下Java API操作HDFS文件的相关测试
环境:IDEA+JDK10.0.1,虚拟机centos
版本:hadoop2.6.0-cdh5.7.0, junit 4.11,maven3.0
事先要在pom.xml中添加相关依赖,并指定一个仓库
测试代码如下:
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import java.net.URI;
/**
* Hadoop HDFS 的Java API 操作
* */
public class HDFSApp {
//操作HDFS文件系统,注意选择hadoop相关的
FileSystem fileSystem =null;
//配置类
Configuration configuration=null;
//定义路径
public static final String HDFS_PASH="hdfs://192.168.199.128:8020";
//**创建HDFS目录