#1-sqoop导数
sqoop import --connect jdbc:mysql://node1:3306/库名 \
--username root \
--password 123456 \
--table dd_table \
--hive-table ods.table \
--fields-terminated-by '\t' \
--hive-import \
--hive-overwrite \
--delete-target-dir \
-m 1
#2-查询MySQL的表的条数
mysql_log=`sqoop eval --connect jdbc:mysql://node1:3306/库名 \
--username root \
--password 123456 \
--query "select count(*) from table"`
mysql_cnt=`echo $mysql_log | awk -F '|' '{print $4}' | awk '{print $1}'`
#3-查询Hive表的条数
hive_log=`spark-sql -e "select count(1) from ods.table "`
hive_cnt=`echo $hive_log | awk '{print $2}'`
#4-比较2边的条数是否一致
if [ $mysql_cnt -eq $hive_cnt ] ; then
echo "mysql表的条数是$mysql_cnt, Hive表的条数是$hive_cnt,2者一致"
else
echo "mysql表的条数是$mysql_cnt, Hive表的条数是$hive_cnt,2者不一致"
fi