hadoop命令distcp注意事项

最新推荐文章于 2023-06-27 15:52:12 发布
最新推荐文章于 2023-06-27 15:52:12 发布
阅读量1.2k 收藏
点赞数
分类专栏： 收藏 hadoop 文章标签： hadoop 集群 html file 测试

地址：http://blog.csdn.net/azhao_dn/article/details/7054286#

hadoop  distcp命令用于在两个不同的集群间拷贝数据，它的优点在于将数据拷贝操作作为mapred程序来执行，这样就大大提高了拷贝的速度，使用distcp命令时必须注意以下事项：

   1）数据源集群 的所有节点必须 知道目标集群所有节点ip和host的转换关系

   2）目标路径必须存在

   3）命令中必须使用主机名，而不是ip地址

   测试结果如下：

[html] view plain copy
  1. bin/hadoop distcp hdfs://hadoopmaster:9000/data/dw/vv/20111208/vv_20111208_05_part-00000.lzo hdfs://hadoopmaster2:9000/user/rsync/test1  
  2. 11/12/08 17:23:43 INFO tools.DistCp: srcPaths=[hdfs://hadoopmaster:9000/data/dw/vv/20111208/vv_20111208_05_part-00000.lzo]  
  3. 11/12/08 17:23:43 INFO tools.DistCp: destPath=hdfs://hadoopmaster2:9000/user/rsync/test1  
  4. 11/12/08 17:23:44 INFO tools.DistCp: sourcePathsCount=1  
  5. 11/12/08 17:23:44 INFO tools.DistCp: filesToCopyCount=1  
  6. 11/12/08 17:23:44 INFO tools.DistCp: bytesToCopyCount=30.2m  
  7. 11/12/08 17:23:45 INFO mapred.JobClient: Running job: job_201112081643_0027  
  8. 11/12/08 17:23:46 INFO mapred.JobClient:  map 0% reduce 0%  
  9. 11/12/08 17:24:08 INFO mapred.JobClient:  map 100% reduce 0%  
  10. 11/12/08 17:24:13 INFO mapred.JobClient: Job complete: job_201112081643_0027  
  11. 11/12/08 17:24:13 INFO mapred.JobClient: Counters: 18  
  12. 11/12/08 17:24:13 INFO mapred.JobClient:   Job Counters   
  13. 11/12/08 17:24:13 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=16764  
  14. 11/12/08 17:24:13 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0  
  15. 11/12/08 17:24:13 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0  
  16. 11/12/08 17:24:13 INFO mapred.JobClient:     Launched map tasks=1  
  17. 11/12/08 17:24:13 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=0  
  18. 11/12/08 17:24:13 INFO mapred.JobClient:   File Input Format Counters   
  19. 11/12/08 17:24:13 INFO mapred.JobClient:     Bytes Read=270  
  20. 11/12/08 17:24:13 INFO mapred.JobClient:   File Output Format Counters   
  21. 11/12/08 17:24:13 INFO mapred.JobClient:     Bytes Written=0  
  22. 11/12/08 17:24:13 INFO mapred.JobClient:   FileSystemCounters  
  23. 11/12/08 17:24:13 INFO mapred.JobClient:     HDFS_BYTES_READ=31682544  
  24. 11/12/08 17:24:13 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=22361  
  25. 11/12/08 17:24:13 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=31682124  
  26. 11/12/08 17:24:13 INFO mapred.JobClient:   distcp  
  27. 11/12/08 17:24:13 INFO mapred.JobClient:     Files copied=1  
  28. 11/12/08 17:24:13 INFO mapred.JobClient:     Bytes copied=31682124  
  29. 11/12/08 17:24:13 INFO mapred.JobClient:     Bytes expected=31682124  
  30. 11/12/08 17:24:13 INFO mapred.JobClient:   Map-Reduce Framework  
  31. 11/12/08 17:24:13 INFO mapred.JobClient:     Map input records=1  
  32. 11/12/08 17:24:13 INFO mapred.JobClient:     Spilled Records=0  
  33. 11/12/08 17:24:13 INFO mapred.JobClient:     Map input bytes=170  
  34. 11/12/08 17:24:13 INFO mapred.JobClient:     Map output records=0  
  35. 11/12/08 17:24:13 INFO mapred.JobClient:     SPLIT_RAW_BYTES=150 


jingling_zy
关注
专栏目录
Hadoop distcp 用法/附避坑指南
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
05-13 3115
distcp作用是从hdfs复制一个或多个数据文件或数据目录到一个指定目录下。会启动Map任务去复制，不会启动Reduce任务。 语法： $ hadoop distcp 配置参数(-pt -overwrite等) hdfs:......源表1/dt=xxxx/* hdfs:......源表2/dt=xxxx/* hdfs:......目的表/dt=xxxx $ hive -e "select * from 目的表 where dt = 'xxxx'" 以上命令是把源表1和源表2的dt=x
hadoop使用distcp问题解决
12-05
hadoop使用distcp问题解决 然后用distcp从1.0.3的集群拷数据到2.0.1的集群中。 遇到问题处理
Hadoop中distcp命令
说文科技，做有态度的研究。
01-14 2542
Hadoop中distcp命令 1.什么是distcp命令？ Hadoop comes with a useful program called distcp for copying data to and from Hadoop filesystems in parallel. 2.distcp 是如何实现的？ distcp is implemented as a MapReduce jo...
Hadoop跨集群数据拷贝工具DISTCP内部源码实现分析
github_zwl的博客
04-07 2937
概述 DISTCP（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具，是Hadoop用户常用的命令之一。它使用Map/Reduce实现大量文件拷贝分发，错误处理和恢复，以及报告生成。它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。由于使用了Map/Reduce方法，这个工具在语义和执行上都会有特殊的地方。 DISTCP的源码可以在Hadoo
hadoop distcp hftp hdfs跨集群拷贝常见问题归总
u011250186的博客
05-08 1233
在工作中遇到部门间数据合作，需跨不同版本集群拷贝数据，从hadoop 2.6.0-cdh5.7.0 拷贝数据到hadoop 2.7.1， 记录所碰到的问题及解决方案。 distcp基础用法 比如拷贝A集群（src集群）的A1目录到B集群（dest集群）的B1目录， 1.同版本集群拷贝（hdfs协议）： 在dest集群（目标集群）运行命令： hadoop distcp hdfs:...
distcp使用要点
Dawn_WL的博客
07-25 827
引言：在公司数据迁移时，对distcp这个命令尝试了n多次，总算对他的工作原理有点心得。 1、首先确保两个集群的mapreduce计算框架没问题 2、开通目标集群所有机器到源集群namenode节点的网络 3、版本差距不是很大时，用 sudo -u hdfs hadoop distcp -i hdfs://192.168.16.1:8020/bak/ship_historical_trac...
hadoop-distcp-2.6.0.jar
01-03
distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝...
hadoop-distcp-2.6.0-sources.jar
02-24
java运行依赖jar包
hadoop 命令大全
08-16
需要注意的是，`hadoop fs`命令也可以替换为`hadoop dfs`，两者是等价的。 **14. DFSAdmin命令** 除了上述命令外，还有一些专门针对Hadoop分布式文件系统的管理命令，例如： - **将集群置于安全模式**：通过命令`...
Hadoop distcp命令（三）
IronWring_Fly的博客
10-12 2087
Hadoop distcp命令（一） Hadoop distcp命令（二） DistCp的结构 新版的DistCp可以分为以下几个部分： DistCp Driver Copy-listing generator Input-formats 和 Map-Reduce components (1) DistCp Driver DistCp Driver部分的职责是： 解析DistCp命令行中的参数，例如： OptionsParser (选项解析器) DistCpOptionsSwitch (DistCp
Hadoop distcp命令（一）
热门推荐
IronWring_Fly的博客
10-09 1万+
因为工作中涉及到了不同集群之间的数据拷贝问题，所以翻看了官方文档，为了能更好的吸收，特此将文档翻译如下。 distcp 分布式拷贝 一、总览 DistCp （分布式拷贝）是一个用来进行数据拷贝的工具，不同的是，这个命令通常是在大规模集群内部和大规模集群之间使用。DistCp命令的拷贝过程本质依然是MapReduce任务，它通过MR的方式来实现拷贝过程中的数据分发、错误处理以及报告。 该命令将文件和目录的列表作为map任务的输入，每个map任务都会复制原列表中指定路径下的文件。 早期版本的DistCp在用法、
hadoop distcp 参数详解
知识的力量
11-13 7315
# hadoop distcp  usage: distcp OPTIONS [source_path...]               OPTIONS  -append                       Reuse existing data in target files and                                append new data
DistCp（分布式拷贝）
moyefeng198436的专栏
02-03 1417
DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 DistCp使用Map/Reduce和文件系统API进行操作。 对于HDFS来说，源和目的端要运行相同版本的协议或者使用向下兼容的协议。 拷贝完成后，建议生成源端和目的端文件的列表，并交叉检查，来确认拷贝真正成功。 基本使用方法 1、DistCp最常用在集群之间的拷..
Hadoop distcp命令（二）
IronWring_Fly的博客
10-12 1990
Hadoop distcp命令（一） 三、命令行选项 标记 描述 注意事项 -p[rbugpcaxt] r： replication b： block size u： user g： group p： permission c： checksum-type a： ACL x： XAttr t： timestamp 当使用-update选项时，只有当文件大小不同时才会同步文件状态。如果指定了-pa选项，DistCp还是会保留权限，因为AC
Hadoop中的distcp
czw698的专栏
01-10 1253
Hadoop中的distcp   hadoop中有一个叫做distcp（分布式复制）的有用程序，能从hadoop的文件系统并行复制大量数据。 distcp一般用于在两个HDFS集群中传输数据。如果集群在hadoop的同一版本上运行，就适合使用hdfs方案：    % hadoop distcp hdfs://namenode1/foo hdfs://namenode2
Hadoop不同版本数据传输distcp问题设置
qq_43688472的博客
12-12 1511
一：情景 不同版本数据传输的问题 从hadoop2.6传数据到hadoop2.7，遇到了下面问题。 二：报错信息 Caused by: java.io.IOException: Couldn't run retriable-command: Copying webhdfs://132.121.97.48:50070/glabel/data/201407/20140710/signal-dwel l/part-00000.bz2 to hdfs://c9/tmp/hive_exportdir/data/201
【Hadoop-Distcp】工具简介及参数说明
weixin_53543905的博客
06-27 2465
【Hadoop-Distcp】工具简介及参数说明，Distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。它使用 Map/Reduce 实现文件分发，错误处理和恢复，以及报告生成。Distcp 把文件和目录的列表作为 map 任务的输入，每个任务会完成源列表中部分文件的拷贝。
hadoop distcp超时失败
zx1414iang的博客
03-21 2109
执行distcp任务失败，获取yarn任务日志查看task任务超时失败 查看日志中超时异常 Diagnostics report from attempt_1647496740778_1063_m_000019_3: AttemptID:attempt_1647496740778_1063_m_000019_3 task timeout set: 1800000s, taskTimedOut: false; task stuck timeout set: 1200s, taskStuck: true
hadoop 卡主_HDFS DisTCP执行卡住了,怎么办?
weixin_39622655的博客
12-22 897
背景我们在进行两个集群间数据同步的时候,使用的是hdfs的distcp的方式进行跨集群跨版本的数据同步,但是在执行hdfs distcp 命令时,发现在运行到 with build listing处就卡住了 .具体问题如下图:针对问题解决,中间我们试过了哪些办法1 首先查看hdfs本身服务状态是否正常,get命令是否可用? 这里我们尝试使用get的方式从源集群中下载一个文件来进行测试, hadoo...
Hadoop的distcp命令携带参数详解
最新发布
06-19
`distcp`是Hadoop分布式复制工具，用于在集群中高效地在源和目标目录之间复制大量数据。以下是`distcp`命令的一些关键参数： 1. **-src**: 源目录或文件路径，这是要复制的数据源。例如: `src=hdfs://namenode/path` 2. **-dest**: 目标目录路径，复制完成后数据将放置在这里。例如: `dest=hdfs://namenode/destination/path` 3. **-overwrite**: 如果设置为`true`，则会覆盖目标目录已存在的相同文件。默认为`false`，即默认不覆盖。 4. **-conf**: 配置文件路径，用于指定Hadoop配置。例如: `-conf=/path/to/hadoop-site.xml` 5. **-skipcrccheck**: 忽略校验和检查，加快复制速度。但不建议在生产环境中使用，除非确定数据完整性可以后续验证。 6. **-async**: 异步模式，可以在后台并行执行复制任务。如果设置，`distcp`会返回一个作业ID，你可以使用`hadoop distcp check`或`hadoop distcp status`来跟踪进度。 7. **-delete**: 删除目标路径中源路径不存在的文件，与`overwrite`类似，但仅删除空目录。 8. **-fs**: 指定要使用的文件系统类型（如HDFS）。如果未提供，默认使用Hadoop的默认文件系统。 9. **-D**: 提供Hadoop配置项，如同在命令行中设置环境变量一样。 示例命令: ```sh hadoop distcp -src hdfs://source/path -dest hdfs://destination/path -overwrite ``` 执行前，请确保你的Hadoop环境已经配置好，并且对目标目录有足够的权限。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值