package com.zyc.hadoop.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
import java.net.URI;
/**
* Created with IntelliJ IDEA.
*
* @Author: zyc2913@163.com
* @Date: 2020/9/1 17:20
* @Version: 1.0
* @Description: hadoop HDFS的基本操作
*/
public class HdfsTest1 {
public static void main(String[] args) throws Exception{
/**
* 0.创建配置文件对象
*/
Configuration conf = new Configuration();
/**
* 这个对象可以在程序运行时临时修改Hadoop的一些配置参数:比如修改副本数.
* 系统默认的副本数为"2",这里设置为"1",因为优先级顺序为:代码中的设置 > resource的配置文件 > 集群的配置
*/
//设置副本数
conf.set("dfs.replication","1");
//设置主机ip和端口号(ip如果换成主机名可能会报错)
URI uri = URI.create("hdfs://192.168.9.11:9000/");
/**
* 1.通过FileSystem创建HDFS文件系统对象
* HDFS 的API入口类是FileSystem,FileSystem 有多个实现类
* FileSystem 可以根据URI兼容各种各样不同的文件系统
*/
FileSystem fs = FileSystem.get(uri, conf, "root");
//创建一个判断标记
boolean flag;
//上传文件:调用上传文件的方法,控制台输出“文件上传成功”
//upload(fs);
//System.out.println("文件上传成功");
//下载文件
//download(fs);
//System.out.println("下载成功");
//创建文件
flag = fs.mkdirs(new Path("/5.txt"));
//System.out.println(flag);
//删除文件
//flag = fs.delete(new Path("/4.txt"), true);
System.out.println(flag);
}
//下载文件:从虚拟机目录到本地目录
private static void download(FileSystem fs) throws IOException {
fs.copyToLocalFile(new Path("/1.txt"),
new Path("C:\\Users\\Administrator\\Desktop\\1.txt"));
}
//上传文件(覆盖):从本地源文件目录到虚拟机目标目录
private static void upload(FileSystem fs) throws IOException {
fs.copyFromLocalFile(new Path("C:\\Users\\Administrator\\Desktop\\flume.txt"),
new Path("/"));
}
}