部分常用操作hadoop的shell命令

• 查询分布式文件系统根目录：hadoop fs -ls hdfs://ip:9000/
• 若已在配置文件中默认为hdfs，上一条还可写为：hadoop fs -ls /
• 查询本地文件系统根目录：hadoop fs file:///
• 查询：hadoop fs -ls [-h] [-R] 具体文件路径
  [-h] 表示显示文件时文件大小会带上具体单位，比如kb。
  [-R] 表示递归显示，比如文件夹中还有文件夹，也会显示。
• 在hdfs上创建目录：hadoop fs -mkdir [-p] 路径
  [-p] 表示如果路径中没有某个文件夹就会自动创建。
  例：hadoop fs -mkdir -p /user/hadoop/1.txt
• 把linux系统上的本地文件上传到hdfs：hadoop fs -put [-f] 本地linux文件路径 hdfs文件路径
  [-f] 若目的路径存在同样文件，则覆盖，否则出错。
  例：hadoop fs -put -f file1 file2 /user(把file1，file2上传到hdfs系统上的/user下)
• 从hdfs系统上下载文件到本地linux文件系统：hadoop fs -get [-f] hdfs上的文件 本地目录
• 把本地linux系统文件内容追加到hdfs上的文件后面：hadoop fs -appendToFile 本地文件 hdfs文件
• 查看文件：hadoop fs -cat 文件
• 查看文件最后一千个字节：hadoop fs -tail 文件
• 改变一个文件的副本系数： 例如：hadoop fs -setrep -w 3 -R /user/dir表示把dir文件以及dir目录以下的文件的副本数改为3
• 其他：与linux类似，只需在前面加hadoop fs，如:hadoop fs -cp ，-mv， -rm …。