HDFS的端口号
9000:hdfs节点内部通信端口
50070:hdfs的web端口
出现以下问题:就是没有在环境变量PATH中找不到
[hadoop@hadoop101 sbin]$ hadoop-daemon.sh
-bash: hadoop-daemon.sh: command not found
hosts的位置
HDFS集群注意事项
- 如果对NN进行格式化,一定要保证DN和NN的 clusterID一样
clusterID存在 /home/hadoop/apps/hadoop/data/dfs/(data|name)/current/VERSION - 如果DN的StorageID相同,就表示是同一个DN,所以DN之间的StorageID必须不一样
StorageID存在 /home/hadoop/apps/hadoop/data/dfs/data/current/VERSION
HDFS Shell命令
-
put 上传本地资源到hdfs上
[hadoop@hadoop101 sbin]$ hdfs dfs -put /home/hadoop/installPkg/jdk-8u144-linux-x64.tar.gz /
-
moveFromLocal 移动本地资源到hdfs上。本地资源就没有了
[hadoop@hadoop101 sbin]$ hdfs dfs -moveFromLocal /home/hadoop/data/1.txt /
-
copyFromLocal 复制本地资源到hdfs上
[hadoop@hadoop101 sbin]$ hdfs dfs -copyFromLocal /home/hadoop/data/2.txt /
-
copyToLocal 复制HDFS的资源到本地文件系统
[hadoop@hadoop101 sbin]$ hdfs dfs -copyToLocal /1.txt /home/hadoop/data/ ##复制文件并重命名 [hadoop@hadoop101 sbin]$ hdfs dfs -copyToLocal /1.txt /home/hadoop/data/xxx.txt
注意:-moveToLocal 在hadoop2.7.3中尚未实现
-
get 下载hdf资源到本地文件系统中
[hadoop@hadoop101 sbin]$ hdfs dfs -get /2.txt /home/hadoop/data/
-
cat 查看hdfs文件内容
[hadoop@hadoop101 sbin]$ hdfs dfs -cat /1.txt
-
text 查看hdfs文件内容
[hadoop@hadoop101 sbin]$ hdfs dfs -text /2.txt
-
tail f 监控hdfs文件
[hadoop@hadoop101 sbin]$ hdfs dfs -tail -f /11.txt
-
appendToFile 追加文件内容
[hadoop@hadoop101 data]$ hdfs dfs -appendToFile /home/hadoop/data/num.txt /11.txt
注意:hdfs上的文件内容只能追加不能修改
-
chgrp 更改文件或目录的所属组
-R 表示递归。在目录上使用。[hadoop@hadoop101 data]$ hdfs dfs -chgrp hadoop /1.txt
-
chown 更改文件或目录的所属用户及组
[hadoop@hadoop101 data]$ hdfs dfs -chown root:root /1.txt
-
chmod 更改权限UGO 541:r-xr----x
[hadoop@hadoop101 data]$ hdfs dfs -chmod 541 /1.txt
-
mkdir 创建目录 -p 创建父级目录
[hadoop@hadoop101 data]$ hdfs dfs -mkdir -p /a/b
-
cp 在hdfs文件系统之间复制
[hadoop@hadoop101 data]$ hdfs dfs -cp /1.txt /data
-
mv 在hdfs文件系统之间移动
[hadoop@hadoop101 data]$ hdfs dfs -mv /2.txt /data
-
rmdir 删除空目录
[hadoop@hadoop101 data]$ hdfs dfs -rmdir /data rmdir: `/data': Directory is not empty
-
rm 删除目录及文件 谨慎使用 -r 递归 -f 强制
[hadoop@hadoop101 data]$ hdfs dfs -rm -r -f /data
-
touchz 在hdfs上创建空文件
[hadoop@hadoop101 data]$ hdfs dfs -touchz /tt.txt
-
find 查找命令
## 查找/下的txt文件 [hadoop@hadoop101 data]$ hdfs dfs -find / -name "*.txt" /1.txt /11.txt /data/num.txt
-
du 查看文件占用的磁盘大小
[hadoop@hadoop101 data]$ hdfs dfs -du -h /
-
df 查看hdfs文件系统的剩余空间
[hadoop@hadoop101 data]$ hdfs dfs -df -h /
-
ls 列出当前路径下的所有文件及目录
[hadoop@hadoop101 data]$ hdfs dfs -ls /
-
checksum 获取文件的校验和信息
[hadoop@hadoop101 data]$ hdfs dfs -checksum /1.txt
-
count 计算路径下与指定文件模式匹配的目录、文件 和文件内容的字节数量
[hadoop@hadoop101 data]$ hdfs dfs -count -h / 4 5 176.9 M / DirCount FileCount ContentSize Path
-
setrep 设置副本数
[hadoop@hadoop101 data]$ hdfs dfs -setrep 2 /1.txt
注意:相对路径和绝对路径。相对路径是相对 /user/当前用户目录的
[hadoop@hadoop101 data]$ hdfs dfs -mkdir -p /user/hadoop
## 123.txt就会在 /user/hadoop目录中创建
[hadoop@hadoop101 data]$ hdfs dfs -touchz 123.txt