最近在支持业务部门将数据从hadoop0.20.203迁移到hadoop2.4.0的时候,distcp报了几个错误,在这里记录一下:
1、报权限错误
15/01/06 10:48:37 ERROR tools.DistCp: Unable to cleanup meta folder: /DistCp
org.apache.hadoop.security.AccessControlException: Permission denied: user=weibo_bigdata_uquality, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x
at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkFsPermission(FSPermissionChecker.java:274)
at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:260)
at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:241)
解决办法:修改/DistCp目录权限
hadoop fs -chmod 777 /DistCp
这个问题有一个疑问,其实我在执行distcp的时候指定了 -log选项,将log目录指定到了有权限的用户目录下面,但是还是报以上错误。
2、报401错误
15/01/06 10:48:37 ERROR tools.DistCp: Exception encountered
java.io.IOException: Server returned HTTP response code: 401 for URL: