hdfs基础命令,高级使用命令，文件写入、读取过程，原数据的管理

hdfs基础命令

ls 与mkidr

ls
hdfs dfs -ls 文件目录
例如:hdfs dfs -ls /

hdfs dfs -ls -r 文件目录  ##列出该文件下所有的子目录


hdfs dfs -mkidr -p 文件目录     ##（递归）创建文件夹
例如： hdfs dfs -mkdir -p /dir/dir1/dir2

put

hdfs dfs -put /root/a.txt   /dir1

moveFromLocal

hdfs dfs -moveFromLocal  /root/install.log   /

get

hdfs dfs -get  /dir2/dir1/a.txt  ./

mv

hdfs dfs -mv /dir1/a.txt  /dir2

rm

hdfs dfs -rm (-r) /dir1      ## -r 可以删除多重目录

cp

hdfs dfs -cp   /dir1/a.txt  /dir2

cat

hdfs dfs -cat /dir1/a.txt

chmod

hdfs dfs -chmod -R 777 /dir1/a.txt

chown

hdfs dfs -chmod -R   hadoop:hadoop1  /dir1/a.txt    ##可以修改用户同时也可以修改用户组

appendToFile

hdfs dfs -appendToFile  a.txt  b.txt   /dir1/dir2/ab.txt

hdfs高级使用命令

文件限额配置

hdfs dfs -count -q -h /user/root/dir1   ## 查看限额配置

文件数量限额

hdfs dfs -mkdir dir   ##先创建一个文件目录
hdfs dfsadmin -setQuota  2 dir       ##对dir目录设置2个文件限额，实际上只有一个
当给目录设置文件限额的时候，设置n个，实际上只有n-1个，因为该目录就占了一个

hdfs dfsadmin  -clrQuota  dir    ##取消该文件的限额配置

文件大小限额

hdfs dfsadmin -setSpaceQuota  4K dir2   ###对dir2的文件目录设置4k的文件限额
hdfs dfsadmin -clrSpaceQuota  dir2   ###删除dir2的文件大小限额限制

dd if=/dir/dir1 of =a.txt   bs=1M  	count=2

hdfs的安全模式

hdfs dfsadmin -safemode get        ###查看安全模式
hdfs dfsadmin -safemode  enter   ###进入安全模式
hdfs dfsadmin -safemode  leave   ###退出安全模式

hdfs的基准测试

测试写入速度

测试读取速度

清除测试数据

hdfs的文件写入过程

hdfs的读取过程

hdfs原数据的管理