使用DistCp，两个集群之间的数据拷贝

最新推荐文章于 2022-08-25 18:57:03 发布

pc_cool

最新推荐文章于 2022-08-25 18:57:03 发布

阅读量956

点赞数

分类专栏：数据开发文章标签： hive hadoop big data 数据仓库 etl

本文链接：https://blog.csdn.net/pc_cool/article/details/120704500

版权

4 篇文章 0 订阅

订阅专栏

需求：两个集群A和B，把集群A的aa.src_table表的数据，拷贝到B集群的bb.obj_table里面。B集群的HDFS地址，是确定的。A集群地址采用动态方式获取

步骤：
1、SQL中动态获取aa.src_table表的HDFS位置，srcTableInfo=`beeline -u ${JDBC} -e "DESCRIBE EXTENDED aa.src_table"`
其中${JDBC}是访问Hive集群的链接

2、利用egrep和sed，获取aa.src_table表的HDFS位置，代码如下：

srcLocation=`echo ${srcTableInfo} | egrep -o 'Location[^S]+' | sed 's/Location//' | sed 's/|/ /g' | sed 's/  */ /g'`

其中，egrep -o 'Location[^S]+'，定位到Location，[^S]+表示非空白字符一次或者多次，最后利用sed s命名把|和空格都替换掉

3、利用hadoop distcp，在两个集群之间拷贝数据

4、数据拷贝的代码是：

hadoop distcp -Dmapreduce.job.queuename=xxxxx(这里是队列名称) -overwrite -pb -prpca -m 128 -bandwidth 2 -i ${srcLocation} ${OjbLocation}

5、https://hadoop.apache.org/docs/stable/hadoop-distcp/DistCp.html 官方对DistCp命令的使用执导，命令的参数表示啥意思，可以参考这个文档

关注