[原创]DB2 并行Export 脚本 --基于分区数据库

原创 2012年03月27日 11:43:21
原理是所有的节点输出文件指向同一个目录---使用共享存储也不错
 
#!/bin/sh
USAGE ()
{
  echo "Usage: `basename $0` [-d database] {-t tablename} [-p path] [-s filetype] [-o output] [-l logfile]";
  echo "Db2export Parameter Infomation:";
  echo "  Parameter -t must be specified                             [必须指定表名]";
  echo "  Parameter -d: Database Name,Default Value:sdncbi           [数据库名]";
  echo "  Parameter -p: OutPath Name,Default Value:Current Directory [输出目录]";
  echo "  Parameter -s: File Type,{IXF | DEL | WSF}                  [文件类型]";
  echo "  Parameter -o: File Name,Default Value:Table Name           [输出文件]";
  echo "  Parameter -f: Logfile Name,Default Value: null             [日志文件]";
  echo ""
  exit 1;
}
if [ $# -lt 2 ]
  then
   USAGE
  fi
dbname=""
tablename=""
pathdir=""
filetype=""
outfile=""
logfile=""
tmpfile=$(basename $0).tmp
#***************************Judge Parameter Begin
  while getopts :d:t:p:s:o:l: OPTION ;
  do
   case "$OPTION" in
     d) dbname="$OPTARG" ;;
     t) tablename="$OPTARG" ;;
     p) pathdir="$OPTARG" ;;
     s) filetype="$OPTARG" ;;
     o) utfile="$OPTARG" ;;
     l) logifle="$OPTARG" ;;
     \?) #usage statement
       USAGE;
       ;;
   esac
  done

  if [ "$tablename" = "" ]
   then
     echo "Parameter -t must be specified "
     USAGE;
   else
   if [ `expr index $tablename .` -le 0  ]
     then
       echo "The Table Name is the same as tabschema.tabname."
       echo "Eg: comm.dim_latn "
       exit 1
   fi
  fi

  if [ "$dbname" = "" ]
   then
     dbname="sdncbi"
  fi
  if [ "$pathdir" = "" ]
   then
     pathdir=`pwd`
  fi
  if [ "$filetype" = "" ]
   then
     filetype="del"
  fi
  if [ "$outfile" = "" ]
   then
    utfile=$tablename
  fi
#***************************Judge Parameter End
date
TABSCHEMA=`echo $tablename|cut -d. -f1`
TABNAME=`echo $tablename|cut -d. -f2`
# get partitioning key
db2look -e -d sdncbi -z $TABSCHEMA -t $TABNAME > $tmpfile 2>&1
flag=`cat $tmpfile|grep "CREATE TABLE"|wc -l`
if [ "$flag" -lt 1 ]
then
echo "Tabname is not exists,Please Imput a Correct Tabname!!"
exit
fi
key=`cat $tmpfile | grep "PARTITIONING KEY" | awk -F\" '{print $2}' | sed -e "s/\"//g" `
if [ ! -n "$key" ]; then
key=`cat $tmpfile | grep "HASH" | awk -F\" '{print $2}' | sed -e "s/\"//g" `
fi
#echo $key
#Export data to file
echo "Begin Export [${tablename}] to file" |tee -a $logfile
if [ -n "$key" ]; then
db2_all "\"||db2 connect to ${dbname};db2 'export to ${pathdir}/${outfile}.${filetype}.## of ${filetype} select * from
${tablename} where dbpartitionnum(${key}) = ## with ur';" >$tmpfile
cat $tmpfile|grep "Number of rows exported:" |tee -a $logfile
cat $tmpfile|grep "Number of rows exported:"|awk -F":" 'BEGIN{sum=0}{sum=sum+$3}END{printf("Total Export Rows:%d\n",sum)}' |tee -a $logfile
for file in ${fullname}.del.*;
   do
    ldfile=`echo $file|cut -d. -f4`
    newfile=`echo $oldfile|awk '{printf("%03d\n",$1);}'`
    #echo $oldfile -- $newfile
  
    if [ "$oldfile" != "$newfile" ]
     then
       mv $file ${fullname}.del.$newfile
    fi
   done
 
else
db2 connect to ${dbname};db2 "export to ${pathdir}/${outfile}.${filetype} of ${filetype} select * from ${tablename} with ur" >$tmpfile
cat $tmpfile|grep "Number of rows exported:" |tee -a $logfile
fi
if [ `cat $tmpfile|grep "Number of rows exported:"|wc -l` -gt 0 ]
  then
    echo "Export  [${tablename}] Success!!!!" |tee -a $logfile
    exit 1
  else
    echo "!!!Export  [${tablename}] Failed!!!!" |tee -a $logfile
    exit -1
fi
date

相关文章推荐

DB2分区数据库的Export程序提速

《请勿转载-谢谢》 摘要:介绍如何在DB2分区数据库环境下,利用并行机制来提升数据库的导出速度,本文通过一个简单的导出例子来讲解并行EXPORT数据的调用,供大家参考!标签:DB2  EXPOR...
  • myamor
  • myamor
  • 2012年03月27日 11:14
  • 655

DB2数据库分区DPF

  • 2016年01月31日 08:00
  • 8KB
  • 下载

sql cookbook 数据库脚本 for db2

最近在看sql cookbook的电子书籍,故整了个数据库打算测试下相关sql脚本,网上都是sql servle和mysql的,自己看着改了下,以下是DB2脚本。 set schema="COO...

DB2中导出数据库的所有DDL脚本

DB2中导出数据库的所有DDL脚本2009-01-21 17:10我们用db2look命令得到数据库对象的DDL脚本DB2的db2look命令诠释如下:db2look 版本 8.2db2look:生成...

db2数据库监控脚本

db2数据库监控脚本主要用途 1、监控db2数据库性能; 2、按照监控日期生成文件夹,存放监控日志文件; 3、自动清理过期日志; 4、可以设定监控时间间隔与监控次数; 5、...
  • huryer
  • huryer
  • 2016年03月24日 13:17
  • 567

DB2中导出数据库的所有DDL脚本

我们用db2look命令得到数据库对象的DDL 脚本  DB2的db2look命令诠释如下: db2look 版本 8.2 db2look:生成 DDL 以便重新创建在数据库中定义的对象 语法...
  • fhx007
  • fhx007
  • 2015年12月01日 14:43
  • 2214

db2数据库备份脚本

  • 2017年04月13日 17:19
  • 1KB
  • 下载

Db2 文件导入导出常见命令总结 EXPORT IMPORT LOAD

转载自 myfriend2010 51cto 上的 Db2 文件导入导出常见命令总结 Db2 的数据迁移,最常用的就是导入导出功能,而导入导出的命令貌似简单,实则内含玄机,千变万化,稍不...

DB2数据的导入(Import) 导出(Export)(Load)

DB2中所谓的数据移动,包括: 1. 数据的导入(Import) 2. 数据的导出(Export) 3. 数据的装入(Load) 导入和装入都是利用DB2的相关命令把某种格式的文件中的数据...

DB2中export详解

1、导出用户必须有SYSADM或DBADM授权,或者在表格上拥有CONTROL或SELECT权限; 2、不支持带结构列的表格数据导出; 3、可以导出带identity列的表格为ixf格式,导入时用...
  • myamor
  • myamor
  • 2012年03月27日 11:03
  • 290
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:[原创]DB2 并行Export 脚本 --基于分区数据库
举报原因:
原因补充:

(最多只允许输入30个字)