首先,启动dfs
[root@hadoop100 ~]# start-dfs.sh
上传文件系统
[root@hadoop100 hadoop-2.7.2]# hdfs dfs -put etc /
查看hadoop文件目录:
创建etc2文件
[root@hadoop100 bin]# hadoop fs -cp /etc /etc2
查看文件占用文件容量信息
[root@hadoop100 bin]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos-root 37G 7.9G 30G 22% /
devtmpfs 475M 0 475M 0% /dev
tmpfs 487M 0 487M 0% /dev/shm
tmpfs 487M 7.8M 479M 2% /run
tmpfs 487M 0 487M 0% /sys/fs/cgroup
/dev/sda1 1014M 133M 882M 14% /boot
tmpfs 98M 0 98M 0% /run/user/0
[root@hadoop100 bin]#
查看hadoop文件占用文件容量信息
[root@hadoop100 bin]# hadoop fs -df -h
Filesystem Size Used Available Use%
hdfs://hadoop100:9000 110.9 G 648 K 74.0 G 0%
文件夹信息
[root@hadoop100 bin]# hadoop fs -du -h /
77.8 K /etc
71.6 K /etc2
0 /tmp
[root@hadoop100 bin]#
上传文件
[root@hadoop100 bin]# hadoop fs -copyFromLocal hdfs /
删除文件
[root@hadoop100 hadoop-2.7.2]# hadoop fs -rm -r /*
[root@hadoop100 hadoop-2.7.2]# hadoop fs -rm -r hdfs://hadoop100:9000/*
17/09/11 11:56:07 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
Deleted hdfs://hadoop100:9000/etc2
17/09/11 11:56:07 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
Deleted hdfs://hadoop100:9000/hdfs
[root@hadoop100 hadoop-2.7.2]#
在虚拟机hadoop安装目录下创建的文件剪贴到文件服务系统去的命令
-moveFromLocal:从本地剪切粘贴到HDFS
[root@hadoop100 hadoop-2.7.2]# hadoop fs -moveFromLocal wcountput /
-appendToFile:追加一个文件到已经存在的文件末尾
[root@hadoop100 hadoop-2.7.2]# ls
bin data etc include input lib libexec LICENSE.txt logs NOTICE.txt output README.txt sbin share tmp wcinput wc.input workcount
[root@hadoop100 hadoop-2.7.2]# mkdir test
[root@hadoop100 hadoop-2.7.2]# cd test/
[root@hadoop100 test]# ll
total 0
[root@hadoop100 test]# cat <<EOF>>1.txt
> 111
> 222
> 333
> EOF
[root@hadoop100 test]# cat 1.txt
111
222
333
[root@hadoop100 test]#
[root@hadoop100 test]# cat <<EOF>>2.txt
> 444
> 555
> 666
> EOF
[root@hadoop100 test]# cat 2.txt
444
555
666
[root@hadoop100 test]#
[root@hadoop100 test]# hadoop fs -mkdir /test
[root@hadoop100 test]# hadoop fs -put 1.txt /test
[root@hadoop100 test]#
追加命令:
[root@hadoop100 test]# hadoop fs -appendToFile 2.txt /test/1.txt
-cat:显示文件内容
[root@hadoop100 test]# hadoop fs -cat /test/1.txt
111
222
333
[root@hadoop100 test]#
HSFS到本地的数据:下载
[root@hadoop100 test]# hadoop fs -get /wcountput ./
[root@hadoop100 test]# ll
total 8
-rw-r--r-- 1 root root 12 Sep 11 12:09 1.txt
-rw-r--r-- 1 root root 12 Sep 11 12:11 2.txt
drwxr-xr-x 2 root root 42 Sep 11 12:23 wcountput
[root@hadoop100 test]#
-copyFromLocal:从本地文件系统中拷贝文件到HDFS路径去
[root@hadoop100 test]# cat <<EOF>>3.txt
> 333
> 333
> 333
> EOF
[root@hadoop100 test]# ll
total 12
-rw-r--r-- 1 root root 12 Sep 11 12:09 1.txt
-rw-r--r-- 1 root root 12 Sep 11 12:11 2.txt
-rw-r--r-- 1 root root 12 Sep 11 12:26 3.txt
drwxr-xr-x 2 root root 42 Sep 11 12:23 wcountput
[root@hadoop100 test]# hadoop fs -put 3.txt /test
-getmerge:合并下载多个文件,比如HDFS的目录 /user/atguigu/test下有多个文件:log.1, log.2,log.3,…
[root@hadoop100 test]# hadoop fs -getmerge /test/* merge.txt
[root@hadoop100 test]# ll
total 16
-rw-r--r-- 1 root root 12 Sep 11 12:09 1.txt
-rw-r--r-- 1 root root 12 Sep 11 12:11 2.txt
-rw-r--r-- 1 root root 12 Sep 11 12:26 3.txt
-rw-r--r-- 1 root root 24 Sep 11 12:30 merge.txt
drwxr-xr-x 2 root root 42 Sep 11 12:23 wcountput
[root@hadoop100 test]# cat merge.txt
111
222
333
333
333
333
[root@hadoop100 test]# tail 1.txt
111
222
333
[root@hadoop100 test]# tail -F 1.txt
111
222
333
[root@hadoop100 test]# echo 1 >>1.txt
[root@hadoop100 test]# tail -F 1.txt
111
222
333
1
[root@hadoop100 test]# hadoop fs -tail -f /test/1.txt
111
222
333
-setrep:设置HDFS中文件的副本数量
[root@hadoop100 test]# hadoop fs -setrep 10 /test /1.txt
Replication 10 set: /test/1.txt
Replication 10 set: /test/3.txt
setrep: `/1.txt': No such file or directory
[root@hadoop100 test]#