把一个本地文件上传到hdfs
hdfs dfs -put a.txt b.txt
a.txt在本地,b.txt是要传到的hdfs路径。
从hdfs导出文件到本地
hdfs dfs -get wordcountout/part-0000* /tmp/output
Hdfs的shell脚本
hdfs提供了很多shell命令来实现访问文件系统的功能,hadoop自带的shell脚本叫hadoop。如果需要获取文件系统的所有命令,可以通过hadoop fs。
hadoop fs
help
使用help选项可以获得对某个具体命令的详细说明
hadoop fs -help ls
创建文件夹
hadoop fs -mkdir -p /data/weblogs
本地文件拷贝到hdfs
hadoop fs -copyFromLocal weblog_entries.txt /data/weblogs
列出文件的信息
hadoop fs -ls /data/weblogs/weblog_entries.txt
集群间数据复制
通过distcp实现hadoop集群间复制大量数据。
distcp是通过启动mapreduce实现数据复制的。
使用distcp,需要关闭源集群map任务的推测机制,在mapred-site.xml中将mapred.map.tasks.speculative.execution的值设为false,避免在map任务失败时产生不可知的行为。
将集群a的weblogs文件夹复制到集群b上
hadoop distcp hdfs://namenodeA/data/weblogs hdfs://namenodeB/data/weblogs
将集群a的weblogs文件夹复制到集群b并覆盖已存在的文件
hadoop distcp -overwrite hdfs://namenodeA/data/weblogs hdfs://namenodeB/ data/weblogs
同步集群a和集群b之间的weblogs文件夹
hadoop distcp -update hdfs://namenodeA/data/weblogs hdfs://namenodeB/data/ weblogs
原理
在源集群,待复制的文件夹的内容会被复制为一个临时的大文件。并且会启动一个只有map的mapreduce作业。每个map会被分配256M的分文件。
比如,如果weblogs文件夹总大小为10g,那么会启动40个map,每个map复制256M数据。
也可以通过参数设置启动的map数量。
hadoop distcp -m 10 hdfs://namenodeA/data/weblogs hdfs://namenodeB/data/ weblogs
这里,启动10个map,如果weblogs一共10G,那么每个map复制1G。
递归查看一个文件夹
hadoop fs -lsr /data/weblogs/import
拷贝文件
hadoop fs -cp src dst
移动文件
hadoop fs -mv src dst
查看文件内容
hadoop fs -cat /user/hadoop/a.txt
删除文件
hadoop fs -rm /user/hadoop/a.txt