hdfs跨集群传输数据

最新推荐文章于 2022-09-29 16:41:16 发布
最新推荐文章于 2022-09-29 16:41:16 发布
阅读量662 收藏
点赞数
分类专栏： hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yilushunfengli/article/details/107368350
版权

跨集群传输数据：(由nameservice2集群传入nameservice1集群)
这里传输的时候目录要以/结尾，不行就在/添加*

hadoop distcp -skipcrccheck hdfs://nameservice2/user/hive/warehouse/ods_yspay_trade.db/ods_orderbill/   hdfs://nameservice1/user/hive/warehouse/temp.db/orderbill_test/

传入之后hive查询不到数据：
如果添加正常，但是hive查询不到数据： MSCK REPAIR TABLE tableName; 执行下，把hdfs上的数据上传到hive元数据

weixing_2006
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
两集群拷贝 hdfs数据
zahuali的博客
02-24 207
将 a集群的数据 拷贝到b集群 hadoop distcp hdfs://10.30.7.8:8020/master/basis_report_data/ hdfs://10.30.7.2/hive_log/ 一些 常用参数补充 标识及描述 备注 -p[rbugp] 修改次数不会被保留。并且当指定 -update 时，更新的状态不会 被同步，除非文件大小不同（比如文件被重新创建）。 -i 忽略失败 就像在 附录中提到的，这个选项会比默认情况提供关于拷贝的更精确的统计， 同时
hdfs 跨集群数据迁移
Sin_Geek成长の迹
09-16 394
背景 测试环境数据缺失，需从开发环境同步数据过去，考虑采用Hadoop自带的数据迁移工具 分析 迁移数据评估 开发环境数据比较杂乱，不是所有数据都需要迁移，且全部迁移即浪费时间，又没有价值，根据时间情况按库（甚至按表）进行迁移 迁移工具 使用Hadoop自带数据迁移工具Distcp，只需要简单的命令即可完成数据迁移。 hadoop distcp hdfs://nn1:8020/dir1 hdfs:...
hdfs跨集群拷贝文件命令
虾哔哔的博客
10-26 1573
hadoop distcp   -D ipc.client.fallback-to-simple-auth-allowed=true  -skipcrccheck  -update  -m 20  webhdfs://ip/user/hive/warehouse/dm.db/fin_market   webhdfs://ip/user/hive/warehouse/dm.db/fin_market...
hdfs跨集群访问
diyicedaan的专栏
09-29 1243
HFDS 跨集群访问
hadoop distcp hftp hdfs跨集群拷贝常见问题归总
独孤一剑
08-31 6576
在工作中遇到部门间数据合作，需跨不同版本集群拷贝数据，从hadoop 2.6.0-cdh5.7.0 拷贝数据到hadoop 2.7.1， 记录所碰到的问题及解决方案。 distcp基础用法 比如拷贝A集群（src集群）的A1目录到B集群（dest集群）的B1目录， 1.同版本集群拷贝（hdfs协议）： 在dest集群（目标集群）运行命令： hadoop distcp hdfs://10.190....
大数据开发：HDFS数据节点与名称节点的通信机制.docx
12-13
在HDFS HA架构中，Namenode的高可用性是通过Journalnode集群实现元数据等状态保持一致的，这样可以在Namenode出现健康问题时，快速切换到备用的Namenode。ZKFC（ZooKeeper Failover Controller）会持续监听两个...
大数据平台实践 六.HDFS数据迁移和yarn运行任务
02-08
该命令可以单进程地复制文件，但是对于大规模数据传输速度较慢。 2. distcp命令 distcp命令是HDFS中的分布式拷贝命令，用于将大规模数据从一个位置迁移到另一个位置。该命令使用MapReduce进行分布式复制，可以并行...
完整版大数据云计算课程 Hadoop数据分析平台系列课程 Hadoop 11 集群 共33页.pptx
09-05
熟练地在Hadoop和操作系统以及关系型数据库之前传递数据 能独立制定数据集成方案 熟练地向Hadoop提交作业以及查询作业运行情况 了解Map-Reduce原理，能书写Map-Reduce程序 了解HDFS原理，能熟练地对HDFS中的文件进行...
完整版大数据云计算课程 Hadoop数据分析平台系列课程 Hadoop 12 集群的应用 共39页.pptx
09-05
熟练地在Hadoop和操作系统以及关系型数据库之前传递数据 能独立制定数据集成方案 熟练地向Hadoop提交作业以及查询作业运行情况 了解Map-Reduce原理，能书写Map-Reduce程序 了解HDFS原理，能熟练地对HDFS中的文件进行...
完整版大数据云计算课程 Hadoop数据分析平台系列课程 Hadoop 02 实施Hadoop集群 共41页.pptx
09-05
熟练地在Hadoop和操作系统以及关系型数据库之前传递数据 能独立制定数据集成方案 熟练地向Hadoop提交作业以及查询作业运行情况 了解Map-Reduce原理，能书写Map-Reduce程序 了解HDFS原理，能熟练地对HDFS中的文件进行...
【hbase】使用HDFS底层文件来进行hbase 跨集群数据迁移
Mrerlou的博客
11-11 1688
前言： 最近要跨集群迁移hbase 表，这里选择迁移Hadoop底层数据来实现hbase的表迁移。 迁移Hadoop底层文件的方式有两种： distcp 从旧集群get 获取文件到本地在 put到新集群上。 因为，我们这个A集群是kerberos 环境，B集群是不带kerberos环境，这里使用Distcp的方式，需要添加一个白名单的配置，并且也需要重启集群，这里就不采用distcp的方式了，使用 get/put的方式。这里仅是为了迁移底层数据，所以选择那种方式都可以。 环境信息： CDH版本
Hadoop 跨集群复制文件
勤能补拙
08-17 2151
hadoop distcp -pbc hdfs://namenode1/test hdfs://namenode2/test如果报用户权限写入被拒绝，切换到hdfs
HDFS跨集群拷贝
走向程序的康庄大道
08-21 2879
使用hadoop distcp实现不同hadoop集群之间的文件迁移 #] hadoop distcp usage: distcp OPTIONS [source_path...] <target_path> 使用示例： hadoop distcp hdfs://172.30.6.25:8020/lts/oozie/spark/DELTA_TRANSFORMER_BJ hdf...
跨HDFS集群传输数据distcp
范学博的博客
05-21 338
#!/bin/bash #set -x source=$1 target=$2 partition_k=$3 partition_from=$4 partition_to=$5 partition_cursor=$partition_from while [ $(date -d $partition_cursor +%s) -le $(date -d $partition_to +%s) ] do bash distcp2 $source $target $partition_k $p.
hadoop-不同集群之间数据拷贝
不负青春、不负卿
12-17 663
hadoop不同集群之间数据拷贝，拷贝时两个集群要用active namenode去拷贝，datanode是不具备拷贝功能的，所以当我们把数据拿到hdfs路径上时， 要去判断当前集群哪个主节点是active的,所以大致步骤为 数据落到hdfs上 beeline -u jdbc:hive2://158.222.14.103:10000/ln -e “insert overwrite direct...
USDP使用笔记（四）打通双集群HDFS实现跨nameservice访问
云来山更佳，云去山如画
03-11 1198
USDP打通双集群HDFS实现跨nameservice访问
跨集群拷贝hdfs
weixin_30596735的博客
01-28 166
拷贝 A集群的test目录到B集群的test目录 问题1： cause:java.io.IOException: Failed to run job : User root cannot submit applications to queue root.default 原因：权限问题 解决：账号权限问题，切换为创建该文件的用户账号，或提供当前用户权限。 问题2：拒接连接 原因...
Spark跨集群读取HDFS文件
一个数据小开发的博客
12-21 3045
大家平时可能都是在本集群上读取本地的HDFS文件，那如果我有两套集群呢？这个时候该如何读取另外一套集群上面的HDFS文件呢？废话不多说，直接上代码，如果代码有关于一些nameservices等这些信息不知道去哪里看的人，可以翻翻我之前的博客，或者私信我。
hdfs集群启动后的三个进程的作用
最新发布
05-16
HDFS集群启动后会有三个重要的进程： 1. NameNode：NameNode是HDFS的主控节点，负责管理整个文件系统的命名空间和客户端对文件的访问。它维护了整个文件系统的目录树和文件元数据信息，并通过数据块的映射表（Block...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值