Hadoop HDSF并行复制数据

最新推荐文章于 2022-06-14 10:37:49 发布
最新推荐文章于 2022-06-14 10:37:49 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： hadoop学习笔记 文章标签： Hadoop大文件复制 Hadoop快速复制 Hadoop distcp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cakecc2008/article/details/79132740
版权

在HDFS中复制数据，最普通的命令是Hadoop fs -cp，但是这是一个单线程的复制方式，如果需要复制一个很大的目录和文件，需要时间将比较长。

其实Hadoop还提供了一个更加高效的复制数据命令 Hadoop distcp 源目录 目标目录

测试在10个节点的集群上复制一个24G的目录，使用Hadoop fs -cp用了7分钟，而用Hadoop distcp只用了不到1分钟，速度快了将近10倍。

同 cp命令由于，如果目标目录已存在时，复制成功后的，目标目录将会是 目标目录/源目录。如果目标目录不存在，Hadoop会自动创建目标目录，且结构为 目标目录/源目录中的子目录。

Hadoop distcp之所以能这么快，其原理是其作为一个MapReduce来运行（只有Map没有Reduce）

周小科
关注
专栏目录
sqoop-1.4.4导入导出mysql数据到hadoop2.2.0 HDSF集群
liangjianyong的博客
10-23 607
Sqoop是一款开源的工具，主要用于在Hadoop相关存储（HDFS、Hive、HBase）与传统关系数据库（MySql、Oracle等）间进行数据传递工作。Sqoop最早是作为Hadoop的一个第三方模块存在，后来被独立成为了一个Apache项目。除了关系数据库外，对于某些NoSQL数据库，Sqoop也提供了连接器。 一、Sqoop基础知识 　　Sqoop项目开始于2009年，可以在Hado
Hadoop基础组件思维导图
pengley的博客
07-10 1235
前提
hadoop之间复制数据
weixin_33874713的博客
07-25 276
为什么80%的码农都做不了架构师？>>> ...
hadoop学习之数据复制
回南山种豆的专栏
04-14 896
HDFS被设计为能够在一个大集群中跨机器可靠第存储超大文件，他将每个文件存储为一系列的数据块，除了最后一个，所有的数据块都是同样大小的。为了容错，文件的所有数据块都会有副本。每个文件的数据块大小和副本系数都是可配置的。应该用程序可以指定某个文件的副本数目，副本系数可以再文件创建的时候指定，也可以在创建之后改变。HDFS文件都是一次性写入的，并且要求在任何时候都只能有一个写入者。 namenode
HDFS并行复制Distcp
weixin_30325793的博客
08-20 121
1）Distcp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。 2）distcp命令是以MR作业(没有R任务)的形式实现的，把文件和目录的列表作为M任务的输入。每一个文件是由一个M任务来拷贝的，distcp尽量把大小之和相同的各个文件导入到同一个M任务中。这样可以每个M任务拷贝的数据量大致相同。 3）集群之间的拷贝(HDFS版本相同)： bash$ hadoop distcp ...
hadoop 集群间数据拷贝
科大人的博客
03-02 1270
1）scp 实现两个远程主机之间的文件复制 scp -r hello.txt hadoop@node3:~/hello.txt // 推 push scp -r hadoop@node3:~/hello.txt hello.txt // 拉 pull scp -r hadoop@node3:~/hello.txt hadoop@node2:~/ //是通过本地主机中转实现两个远程主机的文件复制...
Hadoop权威指南:通过distcp并行复制
weixin_30456039的博客
08-02 160
Hadoop权威指南:通过distcp并行复制 distcp是一个分布式复制程序,改程序可以从Hadoop文件系统间复制大量数据,也可以将大量的数据复制到Hadoop中 distcp的典型应用是在两个HDFS集群间传输数据 hadoop distcp hdfs://namenode1/foo hdfs://namemode2/bar 默认情况下, distcp会跳过目标路径下已经存在的文件,...
Centos8.2部署Hadoop高性能集群
qq_30632605的博客
08-12 931
目录1.Hadoop概述2.部署Hadoop3.3高性能集群3.通过Hadoop执行计算任务 1.Hadoop概述 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop 的框架最核心的设计就是：HDFS 和 MapReduce。HDFS 分布式文件系统为海量的数据提供了存储，则 MapReduce 为海量的数据提供了计算。 官方网站：http://hadoop.apache.org
Hadoop高性能集群
LiteBty的博客
09-01 1158
一：概述 hadoop是一个由apache基金会所开发的分布式系统基础架构，利用集群进行高速运算和存储。 hadoop的框架最核心的设计就是：HDFS和MapReduce.HDFS分布式文件系统为海量的数据提供了存储，则MapReduce 为海量的数据提供了计算。 hadoop包括两大核心。分布式存储系统和分布式计算系统。 1.分布式系统 因为处理数据时，必须从一台一台服务器分别读取和...
hadoop总结
zengxianglei的博客--手指星辰 奈何天！
07-10 972
hadoop总结 Hadoop第一天 1.Vmwarey有三种模式：桥接模式 ，nat模式，host-only模式 一般情况下 用nat 2./etc是配置文件的目录/var是储存各种变化的文件。 3.修改主机名：vi/etc/sysconfig/network 修改原 hostname 为 newname 4.修改ip:/etc/sysconfig/network-scripts/ifcfg...
hadoop 通过distcp并行复制。
Mr.pan felix的专栏
10-11 963
hadoop权威指南第四版 Hadoop自带一个有用程序distcp，该程序可以并行从Hadoop文件系统中复制大量数据，也可以系那个大量数据复制到Hadoop中。 Distcp的一种用法是替代 hadoop fs -cp。例如，我们可以将文件复制到另一个文件中： % hadoop distcp file1 file2 也可以复制目录： % hadoop distcp...
Hadoop
Crazy__coder的博客
02-27 1349
Hadoop原理
HDFS数据快速拷贝方案：FastCopy
走在前往架构师的路上
10-30 1万+
前言 我们在使用HDFS的时候，往往有的时候需要做一些临时的数据拷贝操作，如果是在同一个集群中的，我们直接用HDFS内部自带的cp这些命令即可；如果是跨集群的时候或者说待拷贝数据量规模非常大的时候，我们还可以使用DistCp工具。但是这是否意味着我们使用这些工具在拷贝数据的时候依然是高效的呢？答案其实并不是这样的。在许多比较早使用Hadoop的公司，估计都或多或少遇到过拷贝大规模数据效率不高
二、HDFS 操作
faramita_of_mine的博客
03-05 542
HDFS 操作一、HDFS 概述二、NmaeNode 与 DataNode三、HDFS 的 Shell 操作四、HDFS 客户端操作 一、HDFS 概述 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。 HDFS（Hadoop Distributed File System）是一个文件系统，用于存储文件，通过目录树来定位文件；其次，
HDFS高级功能
cp_Mark的博客
05-06 2457
本篇主要介绍HDFS的高级功能： 回收站 快照snapshot（一种备份） 配额 安全模式 回收站 和我们Window系统上的回收站一样，HDFS也是存在的，不过它默认是关闭的，要开启需要配置。具体的配置如下： vi core-site.xml <property> <name>fs.trash.interval</name>...
[Hadoop]数据复制distcp vs cp
yjgithub的博客
05-27 1528
1.需求 我们项目中需要复制一个大文件，最开始使用的是hadoop cp命令，但是随着文件越来越大，拷贝的时间也水涨船高。下面进行hadoop cp与hadoop distcp拷贝时间上的一个对比。我们将11.9G的文件从data_group/adv/day=20210526下所有文件复制到tmp/data_group/adv/day=20210526/文件下 1.1 查看文件大小 hadoop fs -du -s -h data_group/adv/day=20210526 11.9 G data_gr
大数据之旅——hadoop篇之HDFS
qq_49948651的博客
12-12 911
Hadoop之HDFS
hadoop fs常用命令
weixin_42264992的博客
06-14 6022
hdfs常用命令
hadoop文件复制命令
热门推荐
fuyangchang的专栏
02-08 1万+
      hadoop内置的distcp命令，采用map -reduce的方式对文件进行复制，对于大数据文件夹的复制，特别是文件夹的嵌套式很有效的。 不需要我们手工指定底层文件夹，即可完成复制。并且复制的结果文件与源文件文件名相同，不会出现part-*的文件的情况。    但是对于小数据文件，推荐使用hadoop内置的fs -cp命令，当hadoop比较拥挤的时候，启动一个map -re
Hadoop平台上的并行数据挖掘与云计算探索
“基于Hadoop平台的并行数据挖掘算法工具箱与数据挖掘云”是由南京大学计算机科学与技术系的高阳、杨育彬、商琳于2011年发表的研究，探讨了如何利用Hadoop平台进行并行数据挖掘，并结合云计算技术处理大规模数据。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

周小科

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值