oracle导入导出&hive交互

最新推荐文章于 2024-10-17 11:28:22 发布

xjping0794

最新推荐文章于 2024-10-17 11:28:22 发布

阅读量1.6k

点赞数

分类专栏： oracle 文章标签： oracle

本文链接：https://blog.csdn.net/xjping0794/article/details/75452484

版权

这是一个用于从Oracle数据库导出数据并将其加载到Hive的shell脚本。脚本首先导出Oracle表的数据，然后根据表结构创建Hive表，并将数据加载到Hive中。使用了sqlplus进行数据导出，通过处理Oracle表的DDL来适应Hive的表结构。

摘要由CSDN通过智能技术生成

#!/bin/ksh
# ./oracle_hive.sh -s srcname -p oo|oh
#  sh /home/oracle/bin/oracle_hive.sh -s LTE_DT_RAWDATA_GRID10 -p oo
export NLS_LANG="SIMPLIFIED CHINESE_CHINA.ZHS16GBK"
if [ $# -ne 4 ]; then
    echo "please input param: $0 -s tabname -p oo|oh"
    exit -1
fi    
# get paramsfi
while [ $# -ne 0 ] ; do
		if [ x$1 == "x-s" ] ; then
				shift
				tabname=$1
				shift
		elif [[ x$1 == "x-p" ]]; then
		    shift
		    synctype=$1
		    shift
		else
		   # print_trace "Unrecorgnized prarmter $1, ignore. "
		    shift
		fi
done
currenttimestamp=$(date +%Y%m%d%H%M%S)
procdate=$(date +%Y%m%d)
monthid=`expr substr ${procdate} 1 6 `
LOG_PATH="/opt/datasync/log/${procdate}"
if [ ! -d "$LOG_PATH" ]; then
		mkdir -p $LOG_PATH
fi
function WRITE_LOG(){
		log_info=$1
		echo "[`date +%F\ %T`]: