Hadoop操作命令

scp -r hello.txt root@hadoop103:/user/atuigu/hello.txt  推
scp -r root@hadoop103:/user/atguigu/hello.txt hello.txt 拉
scp -r root@hadoop103:/user/atguigu/hello.txt root@hadoop104:/user/atguigu  

–集群间拷贝
bin/hadoop distcp hdfs://hadoop102:8020/user/atguigu/hello.txt hdfs://hadoop103:8020/user/atguigu/hello.txt

命令行

http://192.168.33.101:50070
http://192.168.33.101:8088

hdfs dfs -mkdir /hello			创建文件夹
hdfs dfs -ls /					查看文件夹
hdfs dfs -put tt.txt /hello/	上传tt.txt到hello文件夹	

#运行计算圆周率的jar
cd /opt/module/hadoop-2.7.2/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.7.2.jar pi 20 50

hadoop fs -ls hdfs://node-1:9000/
hadoop fs -ls /						查看hadoop文件系统文件夹（简写）
hdfs dfs -ls /						查看hadoop文件系统文件夹，这种写法只能是hdfs，局限性强
hadoop fs -ls file:///etc			查看centos系统的文件夹

Shell常用命令

-ls
使用方法：hadoop fs -ls [-h][-R]<args>
功能：显示文件、目录信息

-mkdir
使用方法：hadoop fs -mkdir [-p] <paths>
功能：创建文件夹，-p代表自动创建父目录

-put
使用方法：hadoop fs -put [-f] [-p] [<localsrc1>..] <dst>
功能：将单个src或多个srcs从本地文件系统centos复制到目标文件系统hadoop
		-p：保留访问和修改时间、所有权和权限
		-f：覆盖目的地（如果已经存在）
hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir

-get
使用方法：hadoop fs -get[-ignorecrc] [-crc] [-p] [-f] <src> <localdst>,.
功能：将hadoop中文件复制到本地文件系统
	-ignorecrc：跳过校验CRC
	-crc：未下载的文件写CRC校验和
hadoop fs -get hdfs://host:port/user/hadoop/file localfile

-appendToFile
使用方法：hadoop fs -appendToFile <localsrc> ... <dst>
功能：追加一个文件到已存在的文件末尾
hadoop fs -appendToFile localfile /hadoop/hadoopfile

-cat
使用方法：hadoop fs -cat <-ignoreCrc> URI <URI ...>
功能：显示内容到stdout
hadoop fs -cat /hadoop/hadoopfile

-tail
使用方法：hadoop fs -tail <-f> URI
功能：将文件的最后一千个字节内容显示到stdout
	-f:将在文件增长时输出附加数据
hadoop fs -tail /hadoop/hadoopfile

-chgrp
使用方法：hadoop fs -chgrp [-R] GROUP URI [URI ...]
功能：更改文件组的关联。用户必须是文件的所有者，否则是超级用户
	-R:将使改变在目录结构下递归进行
hadoop fs -chgrp othergroup /hadoop/hadoopfile

-chmod
使用方法：hadoop fs -chmod 666 /hadoop/hadoopfile
功能：更改文件的权限
	-R:目录结构下递归进行

-chown
使用方法：hadoop fs -chown someuser:somegrp /hadoop/hadoopfile
功能：更改文件拥有者
	-R:目录结构下递归进行

-copyFromLocal
使用方法：hadoop fs -copyFromLocal <localsrc> /hadoop/hadoopfile
功能：从本地文件系统中拷贝文件到hdfs系统中
hadoop fs -copyFromFile /root/1.txt

-copyToLocal
使用方法：hadoop fs -copyToLcaol <localsrc> /hadoop/hadoopfile
功能：从hdfs系统拷贝到本地
hadoop fs -copyFromFile /root/1.txt

-setrep
使用方法：hadoop fs -setrep -w 3 -R /user.hadoop/dirl
功能：改变一个文件的副本系数。
	-R递归修改文件夹下所有文件副本系统

-getmerge
使用方法：hadoop fs -getmerge /aaa/log.* ./log.sum
功能：合并下载多个文件
	-R递归修改文件夹下所有文件副本系统

-df
使用方法：hadoop fs -df -h /
功能：统计文件系统的可用空间信息