Hadoop的使用还是和Linux的上面的使用的感觉不是相差不是特别大,特别是Hadoop的FS上面的命令更是和Linux上面的如出一辙,本文的目的是介绍一些Hadoop的常用命令,主要是方便自己日后翻阅使用,毕竟技术这个东西时间久了不用就容易忘记。
- hadoop fs -mkdir -p /your dir :这个命令是帮助你在Hadoop的FS上面创建目录
- hadoop fs -rm -r -skipTrash /your file path: 这个命令是帮助你删除文件和目录
- hadoop fs -ls /your path : 这个命令是帮助你查看对应目录下的文件和文件夹
- hadoop fs -get /your path/file name : 这个命令帮助你下载文件到本地机器上
- hadoop fs -put file name /your targer path: 这个命令帮助你上传文件到指定的目录
- hadoop jar xxx.jar /input /output : 这个命令帮你提交hadoop作业到集群中去运行
Hadoop中的一些使用的端口
- 50070 = 默认情况下是NameNode的webUI界面,可以看到file system中的信息
- 8088 = RMwebUI界面
Hadoop中的一些细节
对于Hadoop来说,所有的文件的路径都是指的是file system上面的文件和路径,而不是本地机器上面的文件和路径。