distcp参数分析及api调用

最新推荐文章于 2023-09-16 08:00:00 发布
最新推荐文章于 2023-09-16 08:00:00 发布
阅读量6.4k 收藏 20
点赞数 5
分类专栏： HDFS 文章标签： distcp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/answer100answer/article/details/102737613
版权

文章目录

1. 参数详解

distcp2和3的参数有所变动。以下参数为2版本参数。
1. 不加任何参数复制：
不会保留文件时间，不会同步文件owner。

$ hadoop distcp  \ hdfs://cluster-host1:9000/user/whb \
hdfs://10.179.25.59:9000/test/01

在这里插入图片描述
在这里插入图片描述
单独复制2副本的wordfile.txt到另一个集群时，默认变成3副本。

-rw-r--r--   3 hadoop supergroup         51 2019-10-24 19:45 /test/01/wordfile.txt

指定多个源：

hadoop distcp  \
hdfs://cluster-host1:9000/user/whb/ww/hi.txt \
hdfs://cluster-host1:9000/user/whb/bb/bb.har/_masterindex \
hdfs://10.179.25.59:9000/test/11

结果：

[hadoop@hadoop1 ~]$ hadoop fs -ls  /test/11
Found 2 items
-rw-r--r--   3 hadoop supergroup         23 2019-10-24 21:37 /test/11/_masterindex
-rw-r--r--   3 hadoop supergroup         12 2019-10-24 21:38 /test/11/hi.txt
标识描述备注
-p[rbugp]Preserve
r: replication number
b: block size
u: user
g: group
p: permission		表示保留哪些。修改次数不会被保留。
并且当指定 -update 时，更新的状态不会被同步，除非文件大小不同（比如文件被重新创建）
-i忽略失败一般不用（测试暂未生效）
-log <dir指定log输出(测试暂未生效)
-m <num最大map数量
-f <urilist_uri指定源列表文件这等价于把所有文件名列在命令行中。 urilist_uri 列表应该是完整合法的URI。
(测试暂未生效)
-update如果源和目标的大小不一样(字节大小)则进行覆盖执行覆盖的唯一标准是源文件和目标文件大小是否相同；如果不同，则源文件替换目标文件。
-overwrite如果一个map失败并且没有使用-i选项，不仅仅那些拷贝失败的文件，这个分块任务中的所有文件都会被重新拷贝。
有目标文件，也直接覆盖掉
1. -p

加上-p参数（不用加后边的子参数），

hadoop distcp -p \
hdfs://cluster-host1:9000/user/whb \ 
hdfs://10.179.25.59:9000/test/03

会将副本数、owner、时间同步过去。

[hadoop@hadoop1 ~]$ hadoop fs -ls  /test/03
Found 6 items
drwxr-xr-x   - whb didi          0 2019-08-26 20:50 /test/03/bb
drwxr-xr-x   - whb didi          0 2019-08-27 16:07 /test/03/hi-out
-rw-r--r--   3 whb didi         51 2019-08-27 14:26 /test/03/hi.txt
drwxr-xr-x   - whb didi          0 2019-08-06 20:56 /test/03/output
-rw-r--r--   2 whb didi         51 2019-06-28 12:15 /test/03/wordfile.txt
drwxr-xr-x   - whb didi          0 2019-08-26 20:41 /test/03/ww
2. -m <num>

最大map个数。如最大4个map

hadoop distcp  -m 4 \
hdfs://cluster-host1:9000/user/whb/ww \
hdfs://10.179.25.59:9000/test/10
3. -update和-overwrite
  • -update用于从源复制目标上不存在或具有不同内容的文件。
  • -overwrite覆盖目标文件，即使它们存在于源文件中或具有相同的内容。

相当于overwrite是update的加强版。
另外注意：
当使用了update或overwrite参数时，关于官网说的只复制下边的文件，并未复现。

https://hadoop.apache.org/docs/stable/hadoop-distcp/DistCp.html

这里-p、-m、-overwrite都是常用参数，大多数情况下我们期望拷贝后数据权限保持一致，通过-p参数来完成权限一致性，拷贝并行度则由-m参数来调节。至于-overwrite往往和-delete合用，用来起到dst和src的一个diff功能。至于-update是很不靠谱的参数，因为只有当源和目标文件的大小不一致时distcp才会覆盖拷贝，如果大小一致，虽然内容不同distcp也依然会跳过这个文件不做拷贝。

其他参数

-append 重新使用目标文件中的现有数据并追加新的如果可能，和update一起使用
Append is valid only with update options(暂未生效)

-bandwidth <arg> 以MB为单位指定每个map的带宽，注意由于在互联网数据传输都是以二进制形式传输，因此，我们将MB的文件需要转换称大Mb需要乘以八个比特位，因此1Gb = 1024MB = 1024MB * 8bits = 8192Mb

-delete 从目标中删除，源文件丢失

-skipcrccheck 是否跳过源和源之间的CRC检查目标路径。

-strategy <arg> 复制策略使用。默认是分工基于文件大小

DistCpOptions类

distcp2.7.2版本的所有参数如下。

public class DistCpOptions {

  private boolean atomicCommit = false; 
  private boolean syncFolder = false;  // 默认值，不同步（不同步的是什么？）
  private boolean deleteMissing = false;
  private boolean ignoreFailures = false; // 不能忽略map错误
  private boolean overwrite = false;  // 默认不会覆盖
  private boolean append = false;
  private boolean skipCRC = false;  // 默认需要校验文件checksum
  private boolean blocking = true;
  private boolean useDiff = false;

  private int maxMaps = DistCpConstants.DEFAULT_MAPS;   // 默认 20
  private int mapBandwidth = DistCpConstants.DEFAULT_BANDWIDTH_MB;  // 默认100

  private String sslConfigurationFile;

  private String copyStrategy = DistCpConstants.UNIFORMSIZE; // 默认 uniformsize

  private EnumSet<FileAttribute> preserveStatus = EnumSet.noneOf(FileAttribute.class); //保留选项，默认为空

  private boolean preserveRawXattrs;

  private Path atomicWorkPath;

  private Path logPath;

  private Path sourceFileListing;
  private List<Path> sourcePaths;

  private String fromSnapshot;
  private String toSnapshot;

  private Path targetPath;

  // targetPathExist is a derived field, it's initialized in the 
  // beginning of distcp.
  private boolean targetPathExists = true;

  public static enum FileAttribute{
    REPLICATION, BLOCKSIZE, USER, GROUP, PERMISSION, CHECKSUMTYPE, ACL, XATTR, TIMES;

    public static FileAttribute getAttribute(char symbol) {
      for (FileAttribute attribute : values()) {
        if (attribute.name().charAt(0) == Character.toUpperCase(symbol)) {
          return attribute;
        }
      }
      throw new NoSuchElementException("No attribute for " + symbol);
    }
  }
  ...

上述枚举类 FileAttribute 是保留选项的参数。

其中，构造器有三种形式：

public DistCpOptions(List<Path> sourcePaths, Path targetPath) {...}

public DistCpOptions(Path sourceFileListing, Path targetPath) {...}

public DistCpOptions(DistCpOptions that) {
    if (this != that && that != null) {
      this.atomicCommit = that.atomicCommit;
      this.syncFolder = that.syncFolder;
      this.deleteMissing = that.deleteMissing;
      this.ignoreFailures = that.ignoreFailures;
      this.overwrite = that.overwrite;
      this.skipCRC = that.skipCRC;
      this.blocking = that.blocking;
      this.maxMaps = that.maxMaps;
      this.mapBandwidth = that.mapBandwidth;
      this.sslConfigurationFile = that.getSslConfigurationFile();
      this.copyStrategy = that.copyStrategy;
      this.preserveStatus = that.preserveStatus;
      this.preserveRawXattrs = that.preserveRawXattrs;
      this.atomicWorkPath = that.getAtomicWorkPath();
      this.logPath = that.getLogPath();
      this.sourceFileListing = that.getSourceFileListing();
      this.sourcePaths = that.getSourcePaths();
      this.targetPath = that.getTargetPath();
      this.targetPathExists = that.getTargetPathExists();
    }
  }

关于-p参数，直接使用preserve即可添加参数。

  public void preserve(FileAttribute fileAttribute) {
    for (FileAttribute attribute : preserveStatus) {
      if (attribute.equals(fileAttribute)) {
        return;
      }
    }
    preserveStatus.add(fileAttribute);
  }

2.使用javaApi

   		...
		List<Path> sourceList = new ArrayList<Path>();
        sourceList.add(srcPath);
        DistCpOptions options = new DistCpOptions(sourceList, new Path(task.getCopyDstPath()));
        options.setSyncFolder(false); //不需要同步
        options.setDeleteMissing(false);
        options.setSkipCRC(false); //同副本复制需要校验filechecksums
        options.setIgnoreFailures(false);//不能忽略map错误
        options.setOverwrite(true); //核心数据需要覆盖目标目录已经存在的文件
        options.setMaxMaps(100);
        options.setMapBandwidth(10);
        options.preserve(DistCpOptions.FileAttribute.USER);
        options.preserve(DistCpOptions.FileAttribute.GROUP);
        options.preserve(DistCpOptions.FileAttribute.TIMES);
        options.preserve(DistCpOptions.FileAttribute.PERMISSION);
        options.preserve(DistCpOptions.FileAttribute.REPLICATION);
        options.preserve(DistCpOptions.FileAttribute.BLOCKSIZE); //必须确保块大小相同，否则会导致filechecksum不一致
        options.preserve(DistCpOptions.FileAttribute.CHECKSUMTYPE);
        options.setBlocking(true);
        DistCp4EC distCp = new DistCp4EC(conf, options);
 
        Job job = distCp.execute();
    } catch (Exception e) {
    ...}

3. distcp map

对于如下5个文件的distcp：

[hadoop@hadoop bin]$ ./hadoop distcp  /user/whb /ec/whb1212-1

在这里插入图片描述
由于有1个目录，6个文件。因此在map端有6个map
在这里插入图片描述
点进去，发现：
在这里插入图片描述
在这里插入图片描述
建新的目录，需要一个map，其他的每个map，复制一个文件。
如果加上-update，再次复制，即目录存在时，就只有5个map了，不需要再起map来建目录。

[hadoop@hadoop bin]$ ./hadoop distcp  -update /user/whb /ec/whb1212-1

在这里插入图片描述

王小禾
关注
  • 5
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
基于c#实现的webapi调用软件
09-01
基于c#实现的webapi调用软件，用于请求web服务，尤其是通过aistudio平台部署的深度学习模型。如果您的自己的webapi接口返回的也是json格式的信息，也可以使用本软件进行请求调用。只是在请求服务前，一定要点击软件界面加密，将原始的url信息转化为用户不可读的字符串，然后再点击测试
hadoop distcp同步工具使用
XY_2017ChaseDream的博客
05-06 1618
日常记录： hadoop distcp数据据同步： 注意事项： 1、为避免集群带宽被全部占用，进而影响其他线上服务，在做数据迁移时应该限制占用带宽； 2、为了避免失败了map影响整体任务的同步，最好忽略失败 性能测试： 命令： hadoop distcp -p -i -m 20 -log dir -updat...
Distcp方式
大数据姐姐
10-31 2万+
一、概述       DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。由于使用了Map/Reduce方法，这个工具在语义和执行上都会有特殊的地方。二、使用DistCp  DistCp最常用于在集群之间的拷贝：hadoop dist...
【Hadoop-Distcp】工具简介及参数说明
最新发布
weixin_42326851的博客
09-16 851
【Hadoop-Distcp】工具简介及参数说明
Hadoop DistCp 命令
YF_Li123的博客
02-24 2955
一、概述 Distcp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具，使用Map/Reduce实现文件的分发、错误处理和恢复，以及生成相应的报告。要拷贝的文件和目录列表会作为map任务的输入，每个map任务处理部分文件的拷贝任务。 二、使用方法 集群间的拷贝： $ hadoop distcp hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/...
Hadoop DistCp工具简介及其参数
fighting
10-23 8758
1 概述   DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。官网地址：http://hadoop.apache.org/docs/r2.7.0/hadoop-distcp/DistCp.html 2 适合的场景及其有点   适合场景：数据异地灾；机房下线，数据迁移等。   优点：①可以限制带宽，使用bandwidth参数对distcp
hadoop distcp（分布式复制）命令
ejtooo的专栏
04-13 3409
distcp（分布式复制）的有用程序，能从hadoop的文件系统并行复制大量数据,distcp一般用于在两个HDFS集群中传输数据
hadoop distcp 参数详解
知识的力量
11-13 7235
# hadoop distcp  usage: distcp OPTIONS [source_path...]               OPTIONS  -append                       Reuse existing data in target files and                                append new data
Hadoop distcp命令（一）
IronWring_Fly的博客
10-09 1万+
因为工作中涉及到了不同集群之间的数据拷贝问题，所以翻看了官方文档，为了能更好的吸收，特此将文档翻译如下。 distcp 分布式拷贝 一、总览 DistCp （分布式拷贝）是一个用来进行数据拷贝的工具，不同的是，这个命令通常是在大规模集群内部和大规模集群之间使用。DistCp命令的拷贝过程本质依然是MapReduce任务，它通过MR的方式来实现拷贝过程中的数据分发、错误处理以及报告。 该命令将文件和目录的列表作为map任务的输入，每个map任务都会复制原列表中指定路径下的文件。 早期版本的DistCp在用法、
易语言API调用对话框应用模块
08-17
易语言API调用对话框应用模块源码 系统结构:通用对话框_打开, ======程序集1 | | | |------ _启动子程序 | | | |------ _临时子程序 | | | |------ 通用对话框_打开 | | | | ======调用的Dll | | | |---[dll
api.zip_API_调用API
09-20
API功能控件,包含所有API函数，及相关调用过程。
C# WEBAPI 及winform调用
02-03
webapi 项目平台，包含接口生成，及接口调用方法，项目代码清晰明了，非常值得初学者参考借鉴，更具体的开发步骤可以登入我的博客查看：http://www.cnblogs.com/gudaozi/p/8384734.html
php有道翻译api调用方法实例
12-19
调用之前我们需申请一个有道翻译API数据接口的key,地址如: 复制代码 代码如下:http://fanyi.youdao.com/openapi?path=data-mode 方法说明,数据接口: 复制代码 代码如下:...
记一次HDFS死锁问题的排查
热门推荐
王小禾
10-26 2万+
背景 离线HDFS集群在执行hdfs dfsadmin -refreshNamenodes hostname:50020向新的NameSpace注册的过程中，出现>10个DataNode节点发生死锁的情况，发生概率约1‰。本文用于记录该问题的排除过程及解决办法。 基础回顾 java中，无论是使用synchronized关键字隐式地获取锁再释放锁，还是使用Lock接口（以及相关实现类）显示地调用lock()/unlock()方法，都能达到锁功能的目的。而死锁是两个甚至多个线程被永久阻塞时的一种运行局面，
distcp流程分析
王小禾
10-23 2718
背景 distcp可用于跨集群或集群内目录的复制，distcp参数不同复制的结果差别较大。本文结合官网及源码，对distcp流程进行分析，并结合测试给出验证。 使用 1. shell 目标目录父目录不存在时，可以自动建立多层目标目录。 1. 文件复制 文件复制时，相当于cp，因为hdfs无法并行写。将a.txt复制并重命令为a_bak.txt $ hadoop distcp \ hdfs://c...
NameNode概述
王小禾
02-23 2300
参考： HDFS NameNode内存全景 1.概述 从NameNode涉及到的主要操作来讲，主要概念如下： 目录树：命名空间namespace 数据块管理 租约管理 FSNamesystem：NameNode逻辑门面类 NameNode HA下的启动与停止 从内存的角度来讲，分类如下： 元数据： namespace blockManager NetWorkTopology Other: 租...
hadoop3 EC测试
王小禾
06-28 2261
1.查看当前支持的纠删码策略 命令如下 [user@nn1 ~]$ hdfs ec -listPolicies
api调用参数异常检测
05-17
在API调用过程中，异常情况可能会发生，例如参数错误、网络连接问题、服务器错误等。为了保证API的正常运行，需要进行异常检测和处理。下面是一些常见的API调用参数异常检测方法： 1. 参数类型检测：检测传入参数的类型是否符合API要求，例如需要传入整数，但是实际传入了字符串。 2. 参数范围检测：检测传入参数的值是否在API要求的范围内，例如传入的数字是否过大或过小。 3. 参数完整性检测：检测传入参数是否齐全，例如必填参数是否都传入了。 4. 参数合法性检测：检测传入参数是否合法，例如传入的字符串是否包含非法字符。 5. API返回值检测：检测API返回的值是否符合预期，例如返回值是否符合API文档中的定义。 综上所述，异常检测在API调用中非常重要，可以有效避免API调用过程中的错误和异常情况。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值