Shell脚本导入导出数据

1. 介绍

在工作中 , 很多场景都会涉及到db数据的导入导出, 为了不影响正常业务, 一般会选择在夜间交易访问量小的时候定时任务跑批进行数据的导入导出. 我们公司, 由于分为了不同区域的开发中心, 应用系统也比较多, 所以业务相互关联的各系统间的数据依赖, 我们是通过数据中台做数据中转的, 比如: A系统要做客户信息的操作但自己没有这部分信息, 客户信息主要是B系统在维护, 这时候A系统就需要用到B系统的数据.

方案就是B系统将客户信息数据资源发布到数据中台, 因为A系统向数据中台订阅了B系统的客户信息资源 , 数据中台会将客户信息资源转发到A系统服务器的指定目录, 最后A系统只需要开发shell脚本将资源文件中的数据导入本地数据库即可.

B系统需要A系统的业务数据也是一样的道理, A系统只需要将业务数据资源发布到数据中台,(A系统开发脚本将db数据导出为数据文件发送给数据中台), B系统订阅A系统的资源, 由数据中台做资源的转发.

下面主要是总结工作中用到的shell脚本如何实现db数据的导入和导出, 数据中台是一个企业级数据交换服务平台, 这里就不详细赘述了.

2. 导入数据到db2

将MY_CUSTOMER_INFO_[DATE].del文件数据导入MY_CUSTOMER_INFO表.

如果数据量很大(千万级以上), 可以使用load命令导入, 性能更快. 使用load时不能人为去中断, 否则会导致表挂起.

后面必须加 nonrecoverable参数或者 copy yes.

# nochardel参数会使数据没有被双引号包裹, 导入数据不能解析双引号.
db2 "load from $2 of del modified by coldel0x0f codePage=1208 nochardel insert into my_table nonrecoverable"
# 数据被双引号包裹, 导入时也需要解析这双引号
db2 "load from $2 of del modified by coldel0x0f codePage=1208 insert into my_table nonrecoverable"

load数据时报错或人为终止导致表 backup pending状态. 可以使用以下命令恢复.

db2 "load from /dev/null of del modified by coldel0x0f codePage=1208 terminate into my_table"

表, 表空间处于Backup pending状态该如何处理呢?

• load数据时报错或人为终止导致表backup pending时, 使用以下命令恢复

  db "load from /dev/null of del modified by colde0x0f codePage=1208 terminate into my_table
  

• loading数据没有加nonrecoverable参数导致表空间backup pending时, 应该先找到异常的表空间, state为0x0000表示正常, 否则就是异常, 查找命令如下:

  db2 list tablespace show detail | grep -iE "name|state"
  

  用以下命令可以恢复

  db2 "backup db 数据库名 tablespace 异常表空间名 online to /dev/null"
  

• 数据库backup pending, 恢复命令如下:

  db2 "backup db 数据库名 Online to /dev/null"
  

3. 导出db2数据

将MY_CUSTOMER_INFO表的数据导出为MY_CUSTOMER_INFO_[DATE].del文件. nochardel参数会使得导出的数据不会被双引号包裹。导出有双引号，导入也要解析双引号；导出没用双引号，导入就要加nochardel不解析双引号。

导出数据也可以使用java程序先查询数据,然后通过IO流写文件.

4. 导入数据到mysql

将MY_CUSTOMER_INFO_[DATE].del文件数据导入MY_CUSTOMER_INFO表.

导入数据部分, 如果null数据想使用空字符串替换, 可以使用NULLIF函数判断后替换.

5. 导出mysql数据

将MY_CUSTOMER_INFO表的数据导出为MY_CUSTOMER_INFO_[DATE].del文件.

6. Java程序调用shell脚本

使用java.lang.Runtime类实现shell脚本的调用并执行.

7. 遇到的问题

(1) 上面Java程序调用并执行shell脚本, 需要注意服务器系统类型是Linux还是AIX系统, 不然传入的参数无法接收到.

(2) windows环境(\r\n)和linux环境(\r)的换行符不一样, 导致在windows系统编辑的shell脚本在Linux服务器上执行报错, 需要使用vim编辑器将\r\n替换为\r.

脚本格式设置, \r\n替换为\r.

:set ff=unix

脚本格式设置, \r替换为\r\n.

:set ff=dos