常用HDFS操作

最新推荐文章于 2024-04-27 00:33:21 发布

W.J.Z

最新推荐文章于 2024-04-27 00:33:21 发布

阅读量1.1k

点赞数

分类专栏：大数据文章标签： hdfs 常用操作字节流分布式系统

本文链接：https://blog.csdn.net/Leader_wang/article/details/83001819

版权

向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件；

//假设  /user/hadoop/input路径已存在 如没存在 在命令行输入 hadoop fs -mkdir -p /user/hadoop/input
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000");
String localFileName = "/home/hadoop/myfile.txt";
String remoteFileName = "/user/hadoop/input/myfile.txt";
Path localFilePath = new Path(localFileName);
Path remoteFilePath = new Path(remoteFileName);
FileSystem fs = FileSystem.get(conf);
		
if(!fs.exists(remoteFilePath)) {   远程文件不存在
		System.out.println("文件未在远程服务器存在");
		fs.copyFromLocalFile(localFilePath, remoteFilePath);
		System.out.println("文件已上传到服务器");
}else {   //远程文件已存在
		System.out.println("文件已在远程服务器存在，请选择下一步动作：1 覆盖 ；2  添加到文件末尾 ");
		int c