人大金仓数据库异地备份 docker

人大金仓数据库异地备份

单机数据库节点和 REPO 备份服务器节点。备份服务器是一个单独的物理设备，相对独立，具有较高 的冗余度，备份不会随着数据库节点故障而失效。

目录层级介绍

./kingbase_back
    ├──────data 数据库安装完成后挂载出来的文件，备份文件存放位置
    ├──────back
               ├───ksql_backup
                         ├─────dbback.sh  备份脚本
               ├───ksql_restore
                         ├─────db_restore.sh 还原脚本
    ├──────images     
                ├────镜像文件              
    ├──────db_install_server.sh 安装脚本  执行脚本后会将back文件夹复制到data目录     
    ├──────docker-compose.yml

1 环境准备

1.1 数据库备份环境准备

REPO 节点（备份服务器，需要安装docker及docker-compose）的搭建采用docker方式安装 KingbaseES 软件。

上传【kingbase_back】至服务器【/usr/local/run/】目录下，进入【kingbase_back】目录

# 授权
chmod +x *.sh
# 安装备份容器
./db_install_server.sh

db_install_server.sh文件内容

#!/bin/bash

# 设定变量
Path="/usr/local"

#容器中参数
DB_USER="postgres"
DB_PORT="54321"
DB_NAME="kingbase"

# 设置错误处理
set -e
set -u  

# 装载数据库镜像
echo "-----装载数据库镜像..."
docker load < "images/kingbase_v008r006c008b0014_single_arm_v1.tar"

cd "$Path/kingbase_back"
# 安装服务
echo "-----安装服务开始..."

docker-compose  up -d

sleep 5

# 移动备份脚本
cp -r ./back/ ./data 

# 授权可执行权限
find ./data/back -type f -name "*.sh" -exec chmod +x {} \;

# 重启数据库
echo "-----数据库重启中..."
docker restart kingbase_back

# 脚本结束

exit 0

docker-compose.yml 文件内容

version: '3'
services:
  kingbase:
    image: kingbase_v008r006c008b0014_single_arm:v1
    container_name: kingbase_back
    restart: unless-stopped
    privileged: true
    
    volumes:
      - ./data:/home/kingbase/userdata/
      - /etc/localtime:/etc/localtime:ro
    environment:
      # 是否需要配置大小写敏感(yes(默认 大小写不敏感)/no 大小写敏感)
      - ENABLE_CI=no
      # 进入容器后是否启动数据库(yes(默认 启动数据库)/ no（不启动数据库）)
      - NEED_START=yes
      - DB_USER=postgres
      - DB_PASSWORD=run@1234
      # 数据库模式： 支持oracle/pg/mysql
      - DB_MODE=pg
    command: /bin/bash

1.2 数据库备份还原免密设置

该操作旨在为数据库备份还原时免除用户手动输入密码

在 KingbaseES 中使用密码配置工具 sys_encpwd 来设置口令密文。将用户的密码以密文形式存在.encpwd 文件中。

# 添加免密信息
docker exec kingbase_back /bin/bash -c "sys_encpwd -H 192.168.0.76 -P 5432 -D ods -U postgres -W run@1234"

# 查看已添加的信息
docker exec kingbase_back /bin/bash -c "cat ~/.encpwd"

参数说明：

-H, --hostname=
主机地址，允许单主机地址匹配和全匹配，全匹配时使用 * 指定
-P, --portnum=
端口号，仅允许单端口匹配
-D, --database=
数据库名，允许单数据库匹配和全匹配，全匹配时使用 * 指定
-U, --user=
用户名，仅允许单用户匹配
-W, --password=
用户对应的密码，仅允许单用户匹配

注意: 当前四个参数输入与原文件中的某一条记录完全相同时，会修改该条记录相应的密码，否则生成一条新的记 录。

2 数据库备份

2.1 修改 备份脚本

进入数据库安装路径下的【data/back/ksql_backup】目录，修改数据库还原脚本中的

修改数据库还原脚本中对应的数据库连接及备份的目标模式

dbback.sh脚本中内容

#!/bin/bash
# 设置变量
# 数据库安装目录容器内路径（无需修改）
kdb_home="/home/kingbase/install/kingbase/bin"
# 容器内备份文件路径（无需修改）
kdbback_dest="/home/kingbase/userdata" 
# 用户名
kdb_user="postgres" 
# 目标端口号
kdb_port="5432"
# 目标ip
kdb_host="192.168.0.76" 
# 目标数据库
database="ods" 
# 目标模式 
schemas=("alm" "alm_yjb" "auth" "base" "config" "ctf" "dqa" "iface" "map" "monitor" "postfix" "sms" "smts" "twznbb" "xxljob" "public")
# 指定保留备份文件的天数
keep_time="7" 

# 备份模式
for schema in "${schemas[@]}"; do
    # 创建模式目录（容器内）
    schema_dir_container="${kdbback_dest}/${database}/${schema}" 
    docker exec kingbase_back mkdir -p "${schema_dir_container}"
	
	log_file="${kdbback_dest}/${database}/sh_log.txt"
	docker exec kingbase_back touch "${log_file}"

    # 备份文件路径（容器内）
	dump_file="${schema_dir_container}/${database}_${schema}_$(date '+%Y%m%d%H%M')"
    # 执行备份命令    
	 docker exec kingbase_back /bin/bash -c "cd ${kdb_home} && ./sys_dump -p ${kdb_port} -U ${kdb_user} -w -h ${kdb_host} -f ${dump_file} -n ${schema} ${database} && echo '模式${schema}备份成功: $(date '+%Y%m%d%H%M%S')' >> ${log_file} || echo '模式${schema}备份失败: $(date '+%Y%m%d%H%M%S')' >> ${log_file}"

	
	# 压缩文件路径（容器内）
    compressed_file="${dump_file}.gz"
    
    # 执行压缩命令
    docker exec kingbase_back gzip "${dump_file}" && echo '模式${schema}压缩成功: $(date '+%Y%m%d%H%M%S')' >> ${log_file} || echo '模式${schema}压缩失败: $(date '+%Y%m%d%H%M%S')' >> ${log_file}
	
done

docker exec kingbase_back find "${kdb_home}" -type f -name "*.gz" -mtime "+${keep_time}" -exec rm -f {} \;

2.3设置定时备份任务

使用linux中的Crontab 工具定时执行数据库备份脚本。

使用 crontab -e 创建定时任务

crontab -l 查看设置的定时任务

00 01 * * * /usr/local/kingbase_back/data/back/ksql_backup/dbback.sh

3 数据库还原

还原前需要清空并删除表

将备份文件复制到还原脚本所在文件路径使用【gzip -dk】解压文件 并更改解压文件属组

# 解压备份文件
gzip -dk ods_config_202407121057.gz
# 更改授权文件属组
chown -R 1000:1000 ods_auth_202407121057 ods_config_202407121057

修改还原脚本

db_restore.sh文件内容

#!/bin/bash
# 设置变量
# 数据库安装目录（无需修改）
kdb_home="/home/kingbase/install/kingbase/bin"
# 指定要还原的备份文件存放路径（无需修改）
backup_path="/home/kingbase/userdata/back/ksql_restore/" 

# 数据库用户名
kdb_user="postgres"
# 数据库端口号
kdb_port="5432"
# 数据库主机IP
kdb_host="192.168.0.74" 
# 还原的数据库名称
database="ods" 
# 指定要还原的备份文件名
backup_files=("ods_auth_202407121057" "ods_config_202407121057" )


# 执行还原操作
#"${kdb_home}/bin/ksql" -U "${kdb_user}" -w -h "${kdb_host}" -p "${kdb_port}" -d "${database}" -f "${backup_path}""${backup_file}"

for backup_file in "${backup_files[@]}"; do
  echo "开始还原文件: ${backup_path}${backup_file}"

  # 执行还原操作
  docker exec kingbase_back /bin/bash -c "cd ${kdb_home} && ksql -U ${kdb_user} -w -h ${kdb_host} -p ${kdb_port} -d ${database} -f ${backup_path}${backup_file}">> restore_log_$(date '+%Y%m%d').txt 2>&1



  if [ $? -ne 0 ]; then

    echo "还原文件 ${backup_path}${backup_file} 失败"

  else

    echo "还原文件 ${backup_path}${backup_file} 成功"

  fi
done

执行./db_restore.sh还原