注意:使用hadoop命令时,/ 代表是$HADOOP_HOME的目录(即HDFS文件系统的根目录),要和本地主机的/区分开。
1.上传文件到hdfs系统的根目录下:
hadoop fs -put filename /
查看:hadoop fs -ls /
进入到自己设置的存放data的目录,输入 ls -lrt 可以看到Block的列表信息
最大的Block大小为134217728kb/1024/1024=128MB.
即hadoop dfs 根据默认值将上传的文件大小拆分为128MB的Block。
创建hdfs目录:hadoop fs -mkdir -p /Hadoop/documents
创建文件:hdfs dfs -touchz /new.txt
HDFS中,/parent/child可以表示为hdfs://namenode:namenodePort/parent/child 如何配置文件是namenode:namenodePort,可以更简单的写为/parent/child
2.将本地文件内容上传追加到hdfs系统中的文件中
hdfs fs -appendToFile 本地文件 hdfs文本文件
hdfs dfs rmr / -------------删除hdfs下的所有文件
hdfs dfs -mv filename newfilename ------------hdfs文件系统内部之间重命名文件
hdfs dfs -get /filename 本地目录 ----------------从hdfs文件系统中下载文件到本地
hdfs dfs -moveFromLocal 本地文件 hdfs目录 ---------------把本地文件移动到hdfs中。
hdfs dfs -chgrp -R yexin / -----------------------------修改hdfs的/目录下的所有文件的所属用户为yexin
hdfs dfs -chmod -R 777 / ------------------------------修改目录权限
sudo hdfs dfs -chown -R root:root / -----------------修改目录小所有文件的所有者
文件系统shell:(许多命令和linux雷同)
hadoop fs {args} -------------使用面广,可以操作任何文件系统
hadoop dfs {args} -----------和下面的一起只能操作HDFS 相关的文件系统
hdfs dfs {args}
使用hdfs dfs -help -------------查看命令列表
使用hdfs dfsadmin -help -------------HDFS管理员查看命令列表
在任意配置好的hadoop环境下的目录中,运行start-dfs.sh 可以启动HDFS进程。
查看系统是否处于安全模式:
hdfs dfsadmin -safemode enter------------进入安全模式
hdfs dfsadmin -safemode leave------------离开安全模式
创建和查看文件:
显示占用磁盘的空间大小
查看某个不断增加的文件:
hdfs dfs -tail [-f] <file>
通过键盘输入追写文件,并且查看内容
将本地文件数据追写到hdfs系统的文件中:
上传本地文件到hdfs系统中
从hdfs系统下载文件到本地
hdfs dfs -rm -r /data-----------删除文件
core-site.xml中如果没有配置fs.trash.interval,则默认为0,即直接删除,不会保留一段时间。
查看文件占用的磁盘空间大小:
dfsadmin 命令
namenode命令