如何保证sqoop数据同步后2边数据量一致

#1-sqoop导数

sqoop import --connect jdbc:mysql://node1:3306/库名 \
--username root \
--password 123456 \
--table dd_table \
--hive-table ods.table \
--fields-terminated-by '\t' \
--hive-import \
--hive-overwrite \
--delete-target-dir \
-m 1

#2-查询MySQL的表的条数

mysql_log=`sqoop eval --connect jdbc:mysql://node1:3306/库名 \
--username root \
--password 123456 \
--query "select count(*) from table"`

mysql_cnt=`echo $mysql_log | awk -F '|' '{print $4}' | awk '{print $1}'`

#3-查询Hive表的条数

hive_log=`spark-sql -e "select count(1) from ods.table "`
hive_cnt=`echo $hive_log | awk '{print $2}'`

#4-比较2边的条数是否一致

if [ $mysql_cnt -eq $hive_cnt ] ; then
  echo "mysql表的条数是$mysql_cnt, Hive表的条数是$hive_cnt,2者一致"
else
  echo "mysql表的条数是$mysql_cnt, Hive表的条数是$hive_cnt,2者不一致"
fi

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值