HDFS 跨集群数据同步（hive,hadoop）

两个不同的HDFS 集群数据迁移( A集群的数据 -> B 集群) 采用的是 SHELL 脚本

1.  按表进行;

2. 日期分区进行;

3. #!/bin/bash

   #####################

   #创建人:DZH

   #创建日期: 2020-04

   #内容： 数据迁移

   #####################

   #####################################

   [ "$#" -ne 0 ] && FILE=$1

   path=$(cd `dirname $0`; pwd)

   ############## 获取执行时间范围 (默认7天) ###################

   #if [ "$#" -eq 3 ]; then

   # START_DATE=$2

   # END_DATE=$3

   #else

   # START_DATE=`date -d"-1 day" +%Y-%m-%d`

   # END_DATE=`date -d "-0 day" +%Y-%m-%d`

   #fi

   #

   #echo ${START_DATE}

   #echo ${END_DATE}

   # 读取账户列表

   cat $FILE|while read dbtablelist

   do

   db_name=`echo $dbtablelist|awk -F "|" '{print $1}'`

   table_name=`echo $dbtablelist|awk -F "|" '{print $2}'`

   part_field=`echo $dbtablelist|awk -F "|" '{print $3}'`

   start_date=`echo $dbtablelist|awk -F "|" '{print $4}'`

   end_date=`echo $dbtablelist|awk -F "|" '{print $5}'`

   #if [${start_date} -eq "2999-01-01" ]; then

   # start_date=`date -d"-1 day" +%Y-%m-%d`

   # end_date=`date -d "-0 day" +%Y-%m-%d`

   #fi

   #将日期转为的时间戳格式

   startDate=`date -d "${start_date}" +%s`

   endDate=`date -d "${end_date}" +%s`

   #计算两个时间戳的差值除于每天86400s即为天数差

   stampDiff=`expr $endDate - $startDate`

   days=`expr $stampDiff / 86400`

   echo "${days} 天数据"

   ############# for 单个分区表循环迁移 ################

   for((i=0;i<=${days};i++))

   do

   part_date=`date -d "${start_date} +${i} day" +'%Y-%m-%d'`

   echo "${db_name}.${table_name} ${part_date} 迁移开始"

   #迁移 网络限制300M 增量形式迁移

   hadoop distcp -bandwidth 300 -m 90 -update

   hdfs://10.13.128.4:8020/user/hive/warehouse/${db_name}.db/${table_name}/${part_field}=${

   part_date}

   hdfs://172.21.12.223:8020/user/hive/warehouse/${db_name}.db/${table_name}/${part_field}=

   ${part_date}

   echo "${db_name}.${table_name} ${part_date} 迁移完成"

   done

   ############# for 单个分区表循环迁移 ################

   ######################################

   done