hdfs命令学习

把一个本地文件上传到hdfs

hdfs dfs -put a.txt b.txt

a.txt在本地，b.txt是要传到的hdfs路径。

从hdfs导出文件到本地

hdfs dfs -get wordcountout/part-0000* /tmp/output

Hdfs的shell脚本

hdfs提供了很多shell命令来实现访问文件系统的功能，hadoop自带的shell脚本叫hadoop。如果需要获取文件系统的所有命令，可以通过hadoop fs。

hadoop fs

help

使用help选项可以获得对某个具体命令的详细说明

hadoop fs -help ls

创建文件夹

hadoop fs -mkdir -p /data/weblogs

本地文件拷贝到hdfs

hadoop fs -copyFromLocal weblog_entries.txt /data/weblogs

列出文件的信息

hadoop fs -ls /data/weblogs/weblog_entries.txt

集群间数据复制

通过distcp实现hadoop集群间复制大量数据。
distcp是通过启动mapreduce实现数据复制的。
使用distcp，需要关闭源集群map任务的推测机制，在mapred-site.xml中将mapred.map.tasks.speculative.execution的值设为false，避免在map任务失败时产生不可知的行为。

• 将集群a的weblogs文件夹复制到集群b上

  hadoop distcp hdfs://namenodeA/data/weblogs hdfs://namenodeB/data/weblogs
  

• 将集群a的weblogs文件夹复制到集群b并覆盖已存在的文件

  hadoop distcp -overwrite hdfs://namenodeA/data/weblogs hdfs://namenodeB/ data/weblogs
  

• 同步集群a和集群b之间的weblogs文件夹

  hadoop distcp -update hdfs://namenodeA/data/weblogs hdfs://namenodeB/data/  weblogs
  

• 原理
  在源集群，待复制的文件夹的内容会被复制为一个临时的大文件。并且会启动一个只有map的mapreduce作业。每个map会被分配256M的分文件。
  比如，如果weblogs文件夹总大小为10g，那么会启动40个map，每个map复制256M数据。
  也可以通过参数设置启动的map数量。

hadoop distcp -m 10 hdfs://namenodeA/data/weblogs hdfs://namenodeB/data/ weblogs

这里，启动10个map，如果weblogs一共10G，那么每个map复制1G。

递归查看一个文件夹

hadoop fs -lsr /data/weblogs/import

拷贝文件

hadoop fs -cp src dst

移动文件

hadoop fs -mv src dst

查看文件内容

hadoop fs -cat /user/hadoop/a.txt

删除文件

hadoop fs -rm /user/hadoop/a.txt