1.进程启停管理
1.一键启停脚本 集群启停
启动:start-dfs.sh
停止:stop-dfs.sh
2.独立进程启停
hadoop-daemon.sh (start|status|stop) (namenode|secondarynamenode|datanode)
hdfs --daemon (start|status|stop)(namenode|secondarynamenode|datanode)
2.文件操作系统操作命令
HDFS同Linux系统一样,均是以 / 作为根目录的组织形式
Linux:file:///
HDFS:hdfs://namenode:port/
老版本
hadoop fs [generic options]
新版本
hdfs dfs [generic options]
1.创建文件夹
hadoop fs -mkdir [-p]
hdfs dfs -mkdir [-p]
2.查看指定文件目录下内容
-h 人性化显示文件size
-R 递归查看指定某目录及其子目录
path 指定目录路径
hadoop fs -ls [-h] [-R] [
hdfs dfs -ls [-h] [-R] [
3.上传文件到HDFS指定目录下
-f 覆盖目标文件
-p 保留访问的修改时间,所有权和权限
localsrc本地文件系统(客户端所在机器)
dst 目标文件系统(HDFS)
hadoop fs -put [-f] [-p] …
hdfs dfs -put [-f] [-p] …
4.查看HDFS文件内容
hadoop fs -cat …
hdfs dfs -cat …
读取大文件可以使用管道符配合more
hadoop fs -cat | more
hdfs dfs -cat | more
5.下载HDFS
-f 覆盖目标文件(已存在下)
-p 保留访问和修改时间,所有权和权限
下载文件到本地文件系统指定目录,localdst必须是目录
hadoop fs -get [-f] [-p] …
hdfs dfs -get [-f] [-p] …
6.拷贝HDFS文件
hadoop fs -cp [-f] …
hdfs dfs -cp [-f] …
7.追加数据到HDFS文件中(hdfs文件系统只支持删除和追加)
hadoop fs -appendToFile …
hdfs dfs -appendToFile …
将所有给本地文件的内容追加到给定dst文件。
dst如果文件不存在,将创建该文件。
如果 为-,则输入为从标准输入中读取
8.HDFS数据移动操作
hadoop fs -mv …
hdfs fs -mv …
9.HDFS数据删除操作
-skipTrash 跳过回收站,直接删除
hadoop fs -rm -r [-skipTrash] URI [URI]
hdfs dfs -rm -r [-skipTrash] URI [URI]
<!--
回收站功能默认关闭,如果要开启需要在core-site.xml内配置
位置:/user/hadoop/.Trash
-->
<property>
<name>fs.trash.interval</name>
<!-- 1天 -->
<value>1440</value>
</property>
<property>
<name>fs.trash.checkpoint.interval</name>
<!-- 120分钟检查一次,超过1天则删除 -->
<value>120</value>
</property>