在 Linux Shell 中操作 hadoop 文件系统(hdfs)
-
(1) 查看(查看根目录
/
)[root@hadoop0 ~]# hadoop fs -ls / [root@hadoop0 ~]# hadoop fs -ls hdfs://hadoop0:9000/
注:根目录:
/
,是对hdfs://hadoop0:9000
的省略 -
(2)递归查询
[root@hadoop0 ~]# hadoop fs -lsr /
-
(3)上传文件
[root@hadoop0 ~]# hadoop fs -put 文件 路径
-
(4)查看文件
[root@hadoop0 ~]# hadoop fs -text 文件
-
(5)递归删除
[root@hadoop0 ~]# hadoop fs -rmr 文件夹
-
(6)创建文件夹
[root@hadoop0 ~]# hadoop fs -mkdir
创建多级目录
-mkdir -p /user/root/input
hadoop jar
[root@hadoop0 ~]# hadoop **.jar args[0] args[1]
# 第一个参数即为 args[0],而非agrs[1]
被打包的类文件(编译后的 .class 文件)需要 extends Configured implements Tool(覆盖run
方法)。
public class MyClass extends Configured implements Tool{
@override
public int run(String[] args) throws Exception{
...
Job job = new Job(...);
job.setJarClass(MyClass.class);
...
return 0;
}
public static void main(String[] args){
ToolRunner.run(new MyClass(), args);
}
}