【实战】通过ImportTsv批量将数据从hive导出到hbase

最新推荐文章于 2024-06-28 12:43:09 发布

槐序i

最新推荐文章于 2024-06-28 12:43:09 发布

阅读量254

点赞数

分类专栏： hbase hive 文章标签： hbase hive

本文链接：https://blog.csdn.net/spark9527/article/details/110238246

版权

本文介绍了一种实战方法，使用ImportTsv工具高效地将大约2亿行的数据从Hive导出到HBase，整个过程仅耗时5分钟。

摘要由CSDN通过智能技术生成

通过ImportTsv 批量将数据从hive导出到hbase
实测 2E 行数据耗时5分钟左右

#!/bin/bash

report_date=`date --date='1 day ago' +%Y-%m-%d`
echo $report_date
function print_duration(){
  #传入一个参数，开始时间 YYYY-mm-DD HH:MM:SS 格式
  start_time=`echo ${@:1}`  #因为参数中带有空格，所以需要这样处理
  
  end_time=`date +'%Y-%m-%d %H:%M:%S'`
  echo '脚本执行开始时间：'${start_time}'，脚本执行结束时间：'${end_time}
  start_seconds=$(date --date="$start_time" +%s);
  end_seconds=$(date --date="$end_time" +%s);
  duration_s=$((end_seconds-start_seconds)); ##总耗时秒
  duration_m=$((duration_s/60)); ##总耗时分
  remainder_s=$((duration_s%60));  #余数秒
  
  duration=${duration_m}"分"${remainder_s}"秒"
  
  echo "########################本次运行耗时:"${duration}"#######################"
}
starttime=`date +'%Y-%m-%d %