删除hdfs上指定的文件

package com.yc.hadoop.hdfs;


import java.net.URI;
import java.util.Scanner;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.log4j.Logger;


/**
 * 删除hdfs上指定文件
 * @company 源辰信息
 * @author navy
 */
public class Hadoop_HdfsApi04 {
private static Logger log = Logger.getLogger(Hadoop_HdfsApi04.class); // 创建日志记录器


@SuppressWarnings("resource")
public static void main(String[] args) {
Scanner input = new Scanner(System.in);
FileSystem fs = null;


try {


Configuration conf = new Configuration();// 加載配制文件
URI uri = new URI("hdfs://192.168.30.130:9000/"); // 要连接的资源位置


fs = FileSystem.get(uri,conf,"navy");  // 创建文件系统实例对象


FileStatus[] files = fs.listStatus(new Path("/user/navy/"));  // 列出文件,hadoop的hdfs的根目录
if(files==null || files.length<=0){
System.out.println("该目录下没有任何文件...");
return;
}

System.out.println("当前目录下的文件信息如下:");
for (FileStatus f : files) {
System.out.println("\t" + f.getPath().getName());
}

String fileName;

while(true){
System.out.print("请输入要删除的文件的文件名:");
fileName=input.next();
Path path= new Path(fileName);

if( fs.delete(path, false) ){  // 文件删除文件
log.debug("文件 "+fileName+" 删除成功...");
break;
}else{
log.debug("文件 "+fileName+" 不存在, 请重新输入...");
}
}
} catch (Exception e) {
log.error("hdfs操作失败!!!", e);
}
}
}
core-site.xmlhdfs-site.xml是Hadoop中两个重要的配置文件,其中core-site.xml主要用于配置Hadoop的核心配置参数,hdfs-site.xml主要用于配置HDFS的相关参数。 以下是配置core-site.xmlhdfs-site.xml的具体步骤: 1. 通过终端或者编辑器打开core-site.xmlhdfs-site.xml文件。 2. 配置core-site.xml文件: ```xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> </configuration> ``` 其中,fs.default.name指定HDFS的默认文件系统,这里指定为localhost:9000;hadoop.tmp.dir指定了Hadoop运行时的临时目录,这里指定为/usr/local/hadoop/tmp。 3. 配置hdfs-site.xml文件: ```xml <configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop/hdfs/datanode</value> </property> </configuration> ``` 其中,dfs.replication指定HDFS中数据块的副本数,这里指定为2;dfs.namenode.name.dir指定HDFS中NameNode的存储目录;dfs.datanode.data.dir指定HDFS中DataNode的存储目录。 4. 保存并关闭配置文件。 5. 在Hadoop集群中,需要将配置文件拷贝到所有节点的Hadoop配置目录中,例如: ```bash $ cp /path/to/core-site.xml /usr/local/hadoop/etc/hadoop/ $ cp /path/to/hdfs-site.xml /usr/local/hadoop/etc/hadoop/ ``` 6. 重新启动Hadoop集群,使配置生效。 以上就是配置core-site.xmlhdfs-site.xml的具体步骤。需要注意的是,配置文件中的具体参数值需要根据实际情况进行修改。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值