人大金仓数据库逻辑备份

已于 2024-08-21 15:59:31 修改
阅读量422 收藏 2
点赞数 11
文章标签： 人大金仓数据库
于 2024-08-20 12:08:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41037490/article/details/141354680
版权

说明：人大金仓数据库安装之后的下面4个文件内容是错误的

1.备份配置相关文件

1.1  backup8.sh


#!/bin/bash
####################################################################################################################
###
###Descipt: this script is used for kingbase database backup,before you run it,you should set the variables such as
###         kdb_home,kdbback_dest,kdb_user,kdb_pass,kdb_host,kdb_port,kdb_list,keep_time and so on.
###
####################################################################################################################
####################### variable define ##########################

#load the backup confuration
#TODO:this cmd have error
#source backup8.conf 
#source /root/kb_scripts/kb_scripts/kb_backup/logical/backup8.conf

echo "kingbase database logical backup begin : $(date '+%Y-%m-%d %H:%M:%S')"

conf_file=$(dirname $(readlink -f "$0"))"/backup8.conf"
echo "conf file is: $conf_file"
source $conf_file


export PGPASSWORD=${kdb_pass}
# modify the backup8.conf style: use "xxxx" replace xxxx, just benifit to source the conf file
#kdb_home=`cat backup8.conf |grep kdb_home|awk -F'=' '{print $2}'|sed s/[[:space:]]//g`
#kdbback_dest=`cat backup8.conf |grep kdbback_dest|awk -F'=' '{print $2}'|sed s/[[:space:]]//g`
#kdb_user=`cat backup8.conf |grep kdb_user|awk -F'=' '{print $2}'|sed s/[[:space:]]//g`
#kdb_pass=`cat backup8.conf |grep kdb_pass|awk -F'=' '{print $2}'|sed s/[[:space:]]//g`
#kdb_port=`cat backup8.conf |grep kdb_port|awk -F'=' '{print $2}'|sed s/[[:space:]]//g`
#kdb_host=`cat backup8.conf |grep kdb_host|awk -F'=' '{print $2}'|sed s/[[:space:]]//g`
#kdb_list=`cat backup8.conf |grep kdb_list|awk -F'=' '{print $2}'|sed s/[[:space:]]//g`
#keep_time=`cat backup8.conf |grep keep_time|awk -F'=' '{print $2}'|sed s/[[:space:]]//g`

date=$(date '+%Y%m%d%H')
kdbback_final="${kdbback_dest}/kdbback_final"
LD_LIBRARY_PATH="${kdb_home}/lib"

####################### kingbase backup dest test ##################

[ -d ${kdbback_dest} ] || mkdir -p ${kdbback_dest}
[ -d ${kdbback_final} ] || mkdir -p ${kdbback_final}

####################### kingbase backup start  #######################

cd ${kdbback_dest}
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH
for db in `echo $kdb_list | sed 's/,/ /g'`; do
	[ -d ${db} ] || mkdir -p ${db}
        cd ${db}
	##### kingbase server check as follows

export PGPASSWORD=${kdb_pass}
	${kdb_home}/bin/ksql -p ${kdb_port} -U ${kdb_user}  -c "select now();" TEMPLATE1 > /dev/null 2>&1
        if [ $? -ne 0 ] ;then
	    echo "${date} sorry, please run the script in a kingbase server" >> backup_${db}_${date}.log 
	    mv backup_${db}_${date}.log ${kdbback_final}
	    exit 1
        else
	    echo "${date} kingbase server is ok,kingbase backup ${db} is beginning ..." >> backup_${db}_${date}.log
        fi
	##### end
        ##### kingbase backup files process as follows
export PGPASSWORD=${kdb_pass}
	${kdb_home}/bin/sys_dump -p ${kdb_port} -U ${kdb_user}  -Fc -f ${db}_${date}.dmp ${db} >> backup_${db}_${date}.log 2>&1
        if [ $? -eq 0 ] ;then
            tar zcvf ${db}_${date}.tar.gz ${db}_${date}.dmp*
            if [ $? -eq 0 ] ;then
               rm -f ${db}_${date}.dmp*
            else
               mv ${db}_${date}.dmp* ${kdbback_final} 
            fi
            find . -mtime +${keep_time} -name ${db}'_*' | xargs -I {} rm {}
        else
	    rm -f ${db}_${date}.dmp*
        fi
        ###### end
        ###### kingbase backup log files process as follows
	tar zcvf backup_log_${db}_${date}.tar.gz backup_${db}_${date}.log
        if [ $? -eq 0 ] ;then
	       rm -f backup_${db}_${date}.log
	else
	       mv backup_${db}_${date}.log ${kdbback_final}
        fi
        find . -mtime +${keep_time} -name backup_log_${db}'_*' | xargs -I {} rm {}
        ###### end
       cd ${kdbback_dest}
done

echo "kingbase database logical backup end : $(date '+%Y-%m-%d %H:%M:%S')"
echo ""

exit 0

1.2   backup8.conf 

kdb_home="/home/kingbase/cluster/projectName/sc/kingbase"
kdbback_dest="/data2/logicalbackup"
kdb_user="root"
kdb_pass="123456"
export PGPASSWORD=${kdb_pass}
kdb_port="54321"
kdb_host="127.0.0.1"  #R6逻辑备份加了kdb_list要求输入密码，R6逻辑备份不能加-W参数否则报错
kdb_list="dbName" 
#动态获取数据库列表，1、R6没有SAMPLES和TEMPLATE2  2、R6有security库R3没有。 3、R3库名为大小R6库名为小写
#kdb_list=`${kdb_home}/bin/ksql -h ${kdb_host} -p ${kdb_port} -U ${kdb_user}  -c "SELECT datname FROM sys_database where datname not in ('template1','template0','security');" template1 |head -n -2|tail -n +3`
keep_time="7"

1.3  backup8_check.sh


#!/bin/bash

####################################################################################################################                                                                                                                                                 
###                                                                                                                                                                                                                                                                  
### Descipt: this script help us to check our logical dump file 
### Author : HM
### Create : 2020-04-28
###
### Usage  :
###        1.modify the backup8.conf file: input correct database conf, like this:
###        kdb_home=/opt/Kingbase/ES/V8/Server
###        kdbback_dest = /data/kingbase/dump/
###        kdb_user=SYSTEM
###        kdb_pass=system
###        kdb_port=54323
###        kdb_host=127.0.0.1
###        kdb_list = TEST,SAMPLES
###        keep_time = 7
###
###        2.execute check:
##         ./backup8_check.sh
##         ./backup8_check.sh latest
###
####################################################################################################################


#load the backup confuration
conf_file=$(dirname $(readlink -f "$0"))"/backup8.conf"
echo "conf file is: $conf_file"
source $conf_file

####################### variable define ##########################
#kdb_home=`cat backup8.conf |grep kdb_home|awk -F'=' '{print $2}'|sed s/[[:space:]]//g`
#kdbback_dest=`cat backup8.conf |grep kdbback_dest|awk -F'=' '{print $2}'|sed s/[[:space:]]//g`
#kdb_user=`cat backup8.conf |grep kdb_user|awk -F'=' '{print $2}'|sed s/[[:space:]]//g`
#kdb_pass=`cat backup8.conf |grep kdb_pass|awk -F'=' '{print $2}'|sed s/[[:space:]]//g`
#kdb_port=`cat backup8.conf |grep kdb_port|awk -F'=' '{print $2}'|sed s/[[:space:]]//g`
#kdb_host=`cat backup8.conf |grep kdb_host|awk -F'=' '{print $2}'|sed s/[[:space:]]//g`
#kdb_list=`cat backup8.conf |grep kdb_list|awk -F'=' '{print $2}'|sed s/[[:space:]]//g`
#keep_time=`cat backup8.conf |grep keep_time|awk -F'=' '{print $2}'|sed s/[[:space:]]//g`

echo "This tool help us to check our logical dump file"
echo ""

if [[ $# -eq 1 ]] && [[ $1 = "-h" ]] || [[ $1 = "--help" ]];then
    echo "Usage:"
    echo "1.check all dump file:"
    echo "  ./backup8_check.sh "
    echo ""
    echo "2.check the latest dump file for every database:"
    echo "  ./backup8_check.sh latest"
    echo ""
    exit
fi

date=$(date '+%Y-%m-%d-%H')
kdbback_final="${kdbback_dest}/kdbback_final"
LD_LIBRARY_PATH="${kdb_home}/lib"

echo "check begin : $(date '+%Y-%m-%d %H:%M:%S')"
if [[ $# -eq 1 ]] && [[ $1 = "latest" ]];then
    echo "we just check the latest logical dump file for every database"
    check_latest=$1
else
    echo "check all logical dump file for every database"
    check_latest="all"
fi

####################### kingbase backup dest test ##################

echo "kdbback_dest: "$kdbback_dest
if [ ! -d ${kdbback_dest} ];then
    echo "backup dest is not exist, please check your backup8.conf!"
    exit -1
fi
echo ""


####################### kingbase backup check  #######################

cd ${kdbback_dest}
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH
echo "1.start check all database's logical backup file"
for db in `echo $kdb_list | sed 's/,/ /g'`; do
    echo "---------------------------------------------------------------------"
    echo "begin check database's logical backup, database name: " $db 
	if [ ! -d ${db} ]; then
	    echo ">>>database dose not have logical backup, please check it! "$kdbback_dest/$db
	    continue
    fi
    cd ${db}
    ##### kingbase server check as follows
    ${kdb_home}/bin/ksql -p ${kdb_port} -U ${kdb_user}  -c "select now();" $db> /dev/null 2>&1
    if [ $? -ne 0 ] ;then
        echo "database: $db is not alive, please check it!" 
        ###TODO: database is not alive, do't care
    else
        echo "kingbase server is runing" 
    fi
    ##### end

    ##### kingbase backup files process as follows
    backup_files=$(ls $db*.tar.gz)
    if [ $check_latest = "latest" ]; then backup_files=$(ls -lrth $db*.tar.gz|tail -n 1|awk '{print $9}');fi
    for backup_file in $backup_files;
    do
        echo "----------------------"
        echo "begin check backup file: "$backup_file
        tar xzOf $backup_file|$kdb_home/bin/sys_restore -l
        echo "end check backup file: "$backup_file
        echo "----------------------"
        echo ""
    done

    echo "end check database $db's logical backup" 
    echo "---------------------------------------------------------------------"
    echo ""

    cd ../
done

echo "2.backup file list: "
for db in `echo $kdb_list | sed 's/,/ /g'`; do
    echo "database: $db, path: $kdbback_dest/$db"
    ls -rlth ${db}/${db}*.tar.gz
    echo ""
done

echo "$(date '+%Y-%m-%d %H:%M:%S') : end check all database's logical backup file"
echo ""
exit 0

1.4  fast_deploy_backup8.sh

#!/bin/bash

####################################################################################################################                                                                                                                                                  ###                                                                                                                                                                                                                                                                   ### Descipt: this script help us update database more easily
###                                                                                                                                                                                                                                                                  
### Descipt: this script help us to deploy logical backup (backup8.sh) schedual into crontab 
### Author : HM
### Create : 2020-04-28
### 
### Usage  :
###        1.modify the backup8.conf file: input correct database conf, like this:
###        kdb_home=/opt/Kingbase/ES/V8/Server
###        kdbback_dest = /data/kingbase/dump/
###        kdb_user=SYSTEM
###        kdb_pass=system
###        kdb_port=54323
###        kdb_host=127.0.0.1
###        kdb_list = TEST,SAMPLES
###        keep_time = 7
###
###        2.execute deploy:
###        ./fast_deploy_backup8.sh
###
####################################################################################################################

echo "This tool help use to deploy logical backup (backup8.sh) schedual into crontab, must execute in local server"
echo ""

####################################################################################################################
echo "1.check back dest:"
kdbback_dest=`cat backup8.conf |grep kdbback_dest|awk -F'=' '{print $2}'|sed s/[[:space:]]//g`
if [ ! -d $kdbback_dest ];then
    echo "create back dest dir: "$kdbback_dest
    mkdir -p $kdbback_dest
    chown -R kingbase:kingbase $kdbback_dest
else
    echo "back dest is exist, do not create it"
fi

echo " "


####################################################################################################################
echo "2.check backup8.sh script:"
./backup8.sh >/dev/null 2>&1
if [ $? -ne 0 ]; then
    echo "backup test failed, please check the backup8.conf"
    echo ""
    exit
else
    echo "sucess to execute backup8.sh"
fi

echo ""


####################################################################################################################
echo "3.add backup job:"
#current_dir=$(dirname $(readlink -f "$0"))
cron_conf=$(crontab -l)
cron_exist=$(crontab -l|grep backup8.sh|wc -l)
if [[ -z $cron_conf ]] || [[ $cron_conf = "no crontab for root" ]]; then
    #echo "0 2 * * * sh $PWD/backup8.sh >/dev/null 2>&1 &" >> conf && crontab conf && rm -f conf
    echo "0 2 * * * sh $PWD/backup8.sh >>$PWD/logical_backup.log 2>&1 &" >> conf && crontab conf && rm -f conf
elif [ $cron_exist -eq 0 ];then
    crontab -l > conf && echo "0 2 * * * sh $PWD/backup8.sh >>/$PWD/logical_backup.log 2>&1 &" >> conf && crontab conf && rm -f conf
else
    echo "do not need deploy backup8.sh in crontab"
fi
echo "complated"

echo ""


####################################################################################################################
echo "4.show current crontab list:"
crontab -l

echo ""
echo "end"

# 金仓安装路径中查找  backup8.sh 文件

find / -name 'backup8.sh'

## /opt/Kingbase/ES/V8/KESRealPro/V008R006C008B0020/SupTools/kb_backup/backup8.sh

1.1 手动执行备份一次

sh -x backup8.sh

2. 定时执行备份

sudo crontab -e

##编辑 内容  （定时任务执行配置，早上11点执行：）
0 11 * * * /opt/Kingbase/ES/V8/SupTools/kb_backup/backup8.sh

2.1## 启动 定时任务
sudo systemctl start crond 

2.2## 查询 crond 的日志文件
 cd  /var/log/
 cat cron

3.备份恢复

3.1 进入金仓安装路劲  /opt/Kingbase/ES/V8/Server/bin

3.2 执行 

./sys_restore -Usystem -dDBNAME   /opt/data/db/111_2024082115.dmp

其中 system：数据库用户名  DBNAME：数据库名称

 /opt/data/db/111_2024082115.dmp：备份文件位置

王大锤4391
关注
国产数据库人大金仓数据库备份迁移操作文档
05-07
国产数据库人大金仓数据库备份迁移操作文档其中包括逻辑备份还原、联机全系统备份、联机增量备份、全系统恢复、数据迁移等，并包括命令行的备份还原和自动备份还原命令脚本。
Kingbase(人大金仓)数据库通过命令进行数据备份和还原
SmallCat0912的博客
04-08 2621
以上就是人大金仓数据库通过命令进行数据备份和还原。
KingbaseES8(人大金仓数据库)备份还原
最新发布
陈续缘的专栏
07-26 941
sys_restore -h ip -p 端口 -U 用户 -c -d 库名 备份路径/xxx.dmp。sys_dump -h ip -p 端口 -U 用户 –F c -f 备份路径/xxx.dmp 库名。ksql -h ip -U用户名 -d 库名 -f 备份路径/xxx.sql。
kingbase 系统运行常见问题-sys_wal过大
ChenXi
12-28 594
sys_xlog是数据库的预写日志（wal），过大可能导致数据磁盘爆满，进而引发数据库宕机，sys_xlog过大时可以手动进行清理。物理备份路径在安装目录/home/kingbase/cluster/kingbase/share，配置sys_backup.conf。各节点分别用df查看整体磁盘空间情况，以及用du查看wal日志（位置在$KINGBASE_DATA/sys_wal）磁盘占用情况。cp -r /kdb/data/sys_wal /kdb/data/sys_wal_bak_日期。
人大金仓数据库逻辑备份和还原
码云仓库地址：https://gitee.com/lance-gyq
02-06 5971
2、当逻辑备份文件中包含有多个模式中的同名表时，在使用”-t 表名”的方式执行恢复时，如果不指定-n选项，那么所有模式下与”表名”同名的表都将被恢复，因此想恢复指定模式下的表时，需要使用-n选项。备份test数据库中t01表到/backup/dump/t01-copy.sql，备份为copy格式的sql脚本。备份test数据库中t01表到/backup/dump/t01-copy.sql，备份为copy格式的sql脚本。（3）sys_dump支持压缩和加密备份，sys_dumpall不支持压缩和加密备份。
人大金仓Kingbase数据库备份和还原
欧阳啸天的专栏
12-22 6172
人大金仓中的备份命令为sys_dump，数据还原的方式有两种，分别是ksqlsys_restore命令，下面对这几个命令分别进行介绍。
人大金仓KESV8R6逻辑备份与还原
checkjiji的博客
05-11 3124
人大金仓KESV8R6逻辑备份sys_dump/sys_dumpall与sys_restore使用，单表与多表备份，逻辑备份优缺点说明。
人大金仓数据库KingbaseES 数据库备份还原具体操作流程
arthemis_14的博客
11-27 3247
备份还原、sys_dump、sys_restore、人大金仓。
对人大金仓数据库的调查分析
07-16
针对高性能需求，人大金仓数据库采用了数据块级逻辑时间优化的多版本并发控制机制，配合锁模式提升系统吞吐量。通过分区裁剪、索引优化和执行计划缓存等技术，显著降低事务响应时间。在国产环境下，单机TPMC（每分钟...
KingbaseESR3R6优化备份工具合集
02-12
KingbaseESR3R6是金仓数据库的一个版本，它是一款国产的关系型数据库管理系统，具有高性能、高可用性以及安全稳定的特点。针对标题中的“优化备份工具合集”，我们可以理解这是针对KingbaseESR3R6数据库进行数据保护...
人大金仓.zip
10-12
人大金仓.zip是一个包含关于Kingbase数据库的详细学习资源的压缩包。Kingbase数据库是由中国人民大学金仓信息技术股份有限公司开发的一款国产关系型数据库管理系统（RDBMS），它在政府、金融、电信等领域有着广泛的...
人大金仓数据库kingbaseESV6SQL参考手册.rar
09-05
人大金仓数据库KingbaseESV6是国产的一款关系型数据库管理系统，主要应用于政府、金融、电信等关键领域的数据存储和管理。SQL（Structured Query Language）是用于管理和操作数据库的标准编程语言，包括数据查询、...
金仓数据库KingbaseES客户端应用参考手册--11. sys_dump
arthemis_14的博客
09-01 2151
sys_dump — 把 KingbaseES 数据库抽取为一个脚本文件或其他归档文件sys_dump 是一种用于备份 KingbaseES 数据库的工具。即使数据库正在并发使用，它也能创建一致的备份。sys_dump 不阻塞其他用户访问数据库（读取或写入）。sys_dump 只转储单个数据库。要备份整个集群，或备份集群中所有数据库公共的全局对象（例如角色和表空间），请使用。转储以脚本或归档文件格式输出。脚本转储是包含 SQL 命令的纯文本文件，可以使用该脚本文将数据库恢复到转储时的状态。
[运维|数据库] 人大创建数据库操作及数据库备份步骤笔记
梦醒贰零壹柒
07-20 1053
【代码】[运维|数据库] 人大创建数据库操作及数据库备份步骤笔记。
人大金仓KESV8R6物理备份与还原
checkjiji的博客
05-12 3043
人大金仓KESV8R6物理备份与还原
人大金仓数据库异地定时备份说明（单机）
weixin_53267215的博客
05-17 1169
本文针对单机部署的人大金仓（kingbase）数据库实现异地备份，备份服务器是一个单独的物理设备，相对独立，具有较高的冗余度，备份不会随着数据库节点故障而失效。
人大金仓数据库备份应用sys_dump的使用
yeyuningzi的博客
12-27 3225
sys_dump位于：安装目录下的 ManagerTools目录下，如windows上的KingBaseEs V8 :"D:\Program Files\Kingbase\ES\V8\ManagerTools\manager.exe"。-v 指定冗长模式，这将导致 sys_dump 向标准错误输出详细的对象注释以及转储文件的开始/停止时间，还有进度消息。其他的暂时不说，这次，就说备份为SQL文件的情况，图形界面操作就直接点击【备份】按钮即可。p 这里的p 是-F的参数，p输出一个纯文本形式的SQL脚本文件。
人大金仓数据库的备份与还原 KingbaseES V8R6
热门推荐
yang_z_1的博客
04-30 1万+
人大金仓数据库的备份与还原 文章目录人大金仓数据库的备份与还原前言备份sys_dump 命令还原ksql 命令sys_restore一. 从人大金仓数据库备份还原到人大金仓数据库二 从postgresql数据库备份还原到人大金仓数据库后记 前言 本文记录一次使用人大金仓数据库（KingbaseES）（postgres版）的备份与还原。 postgresql 版本：11.5 人大金仓数据库版本：KingbaseES V8R6 备份 sys_dump 命令 ./sys_dump -h 10.10.3.104 -
人大金仓数据库备份指令
12-13
以下是人大金仓数据库备份的指令： 1. 逻辑备份还原 ```shell # 备份 dbexport -s servername -d dbname -U username -P password -f filename # 还原 dbimport -s servername -d dbname -U username -P password -f filename ``` 2. 联机全系统备份 ```shell # 备份 dbbak -s servername -d dbname -U username -P password -t full -f filename # 还原 dbbak -s servername -d dbname -U username -P password -t full -f filename ``` 3. 联机增量备份 ```shell # 备份 dbbak -s servername -d dbname -U username -P password -t incr -f filename # 还原 dbbak -s servername -d dbname -U username -P password -t incr -f filename ``` 4. 全系统恢复 ```shell # 恢复 dbbak -s servername -d dbname -U username -P password -t full -f filename -r ``` 5. 数据迁移 ```shell # 导出数据 dbexport -s servername -d dbname -U username -P password -f filename # 导入数据 dbimport -s servername -d dbname -U username -P password -f filename ``` 请注意，以上指令中的servername、dbname、username、password、filename需要根据实际情况进行替换。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王大锤4391

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值