KingbaseES V8逻辑备份脚本功能说明

最新推荐文章于 2024-07-15 08:00:00 发布
最新推荐文章于 2024-07-15 08:00:00 发布
阅读量990 收藏 17
点赞数 14
文章标签： java 前端 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38143404/article/details/135350534
版权

逻辑备份清理脚本说明

脚本构成说明

文件名

说明

logic_backup_manager.sh

主脚本文件，解析配置文件，执行备份、还原、清理等工作

logic_backup_manager.conf

主配置文件，全局参数：

  • 常规参数，比如ip/port/dbname/dbuser/passwd等
  • 路径参数，比如日志路径、备份路径、job路径等
  • 日志参数，比如日志级别等

.job文件

每个.job文件代表了一个备份任务，暂支持以下类型任务：

  • sys_dump备份指定模式，可多个
  • sys_dump备份指定表，可多个，可正则表达
  • sys_dump备份全库，排除指定模式、指定表
  • copy指定库的指定模式的指定表
  • sys_dump备份全库
  • 备份打包指定目录下N天前的旧文件并删除旧文件

脚本使用说明

配置 logic_backup_manager.conf 主配置文件（优先使用和logic_backup_manager.sh同目录下的配置文件，若同目录下不存在则去加载使用../share/logic_backup_manager.conf配置文件），添加.job备份任务文件后，执行下述命令：

  • logic_backup_manager.sh backup [all]          # 执行所有.job备份任务
  • logic_backup_manager.sh backup myschema.job  # 执行myschema.job备份任务
  • logic_backup_manager.sh restore [all]          #执行所有备份还原任务
  • logic_backup_manager.sh restore starttimeendtime   #执行指定时间备份还原任务，时间格式为yyyymmdd
  • logic_backup_manager.sh clean [all]            # 清理逻辑备份内容
  • logic_backup_manager.sh clean myschema.job  # 清理myschema.job备份任务的备份内容
  • logic_backup_manager.sh clean archivedwal             # 清理wal文件
  • logic_backup_manager.sh showauto               # 输出自动备份清理的crontab内容
  • logic_backup_manager.sh backupclean "a.job b.job"   # 清理归档，执行job备份和清除
  • logic_backup_manager.sh collectinfo # 收集数据库和OS信息

定时任务设置

配置好conf文件，设置好job文件，验证job备份任务没有问题后可使用 show-auto 命令输出定时任务的设置，手动添加到 crontab 列表中即可。

凝思HA的定时任务设置

凝思HA是多台机器共享一份存储的解决方案，一个时刻只能有一台机器挂载存储对外提供数据库服务，当机器A故障后支持自动启用另一台机器B对外提供服务，这时机器B挂载了存储。鉴于共享存储的这种特性，凝思HA备份清理定时任务的设置如下：

  1. 将本脚本需要拷贝到共享存储上，并且配置文件也要和本脚本在同一目录下
  2. 做好conf文件配置，设置好job文件
  3. 在挂载了共享存储的机器上执行 show-auto 命令，并手动设置crontab定时任务
  4. 手动切换机器，在挂载了共享存储的新机器上执行 show-auto 命令，并手动设置crontab定时任务
  5. 再次切换机器，直至在所有节点上都设置了crontab定时任务

注：不对外提供服务（或故障）的机器虽然也会跑定时任务，但因为缺少共享存储，是无法真正执行定时备份清理任务的

原理

备份原理：sys_dump、copy

清理原理：每次执行备份任务都会在相应的 .job.record 文件追加本次备份内容所在的独立的目录，依据保留次数清除旧的目录

免密原理：依据配置参数设置 ${HOME}/.encpwd 实现

还原原理：执行ksql命令导入相应的sql文件

清理wal原理：SQL查询archive_command若包含sys_rman则不执行清理；find查找mtime+${ _archived_wal_age }文件并排序，找到一个${ _archived_wal_age }天前的最新的wal文件（作为锚点，该文件不会被删除），然后调用sys_archivecleanup清理wal归档

约束

脚本会依据配置往 ${HOME}/.encpwd 免密配置文件内追加配置，若配置了错误的密码，备份检查就会报错失败，此时需要手工删除 ${HOME}/.encpwd 免密配置文件内错误的那行信息，并且修改 .conf 全局配置文件或者 .job任务配置文件。

Job说明

为了满足不同客户现场的不同的逻辑备份任务，同时统一规范管理这些任务，因此将它们划分为不同的类型，现在支持Job1、Job2、Job3、Job4、Job5、Job6六种类型的任务。

每种类型的Job有两类参数：

  • 该类型Job专用的配置参数，不可与其他类型Job的专用配置参数重复
  • 适用于所有类型Job的私有通用参数，往往是全局配置参数的覆盖，比如“默认保留的备份数量 _keep_count”，全局配置为30，该任务备份的数据特别重要那么可设置其私有通用参数（_my_keep_count）为365，作用域仅限当前job

新增备份任务时，需要判断是哪种类型的Job，然后使用该类型Job的参数做配置，并将这些内容写入到一个独立的新的.job文件（配置参数不可重复）中。

专用配置参数说明

每种类型的Job都有其特有的专用配置参数，不可重复，每个 .job 文件必须存在某种类型的专用配置参数。

私有通用参数说明

_my_*参数用于设置某个 .job 文件代表的任务的私有属性，不设置则默认使用 logic_backup_manager.conf 内的全局配置参数。

全局配置名

私有通用参数名

说明

_keep_count

_my_keep_count

保留的备份数量

默认保留30份，A任务保留365份

_crontab_prefix

_my_crontab_prefix

自动运行的设置

比如默认每周运行，A任务每天运行

_kdb_script_log_file

_my_kdb_script_log_file

脚本日志文件设置

默认使用xx文件写日志，A任务使用yy文件写日志

注：

在加载主配置文件（logic_backup_manager.conf）之前警告出错信息输出到屏幕，加载主配置文件之后这些信息会写到${_kdb_script_log_file }文件，加载.job文件后若有私有的日志文件设置，后续日志会写到该私有日志文件中

_kdb_user

_my_kdb_user

数据库用户名

_kdb_pass

_my_kdb_pass

数据库用户的密码

注：_my_kdb_pass只有在_my_kdb_user存在的情况下才会生效

_kdb_dbname

_my_kdb_dbname

数据库名

_older_files_age

_my_older_files_age

旧文件保留天数

Job1类型说明

作用

备份指定模式，可使用英文逗号为间隔添加多个模式，可使用正则表达

原理
  1. sys_dump -n -Fc导出指定模式的所有内容
  2. sys_dump -n -Fp -s 导出指定模式的定义信息
  3. tar打包

专用配置参数

_dump_schemas

举例说明

# cat jobs/valid_job1.job

_dump_schemas="public,schema1"

存储位置

# ls -A kdb_backup/databackup/kdb_daily_dump/2022/07/26/valid_job1.job/

test_public_schema1_20220726_201741.dmp.tar.gz

test_public_schema1_stru_20220726_201741.sql.tar.gz

Job2类型说明

作用

备份指定表，可使用英文逗号为间隔添加多个表，可使用正则表达

注：必须是“模式名.表”的形式

原理
  1. sys_dump -t -Fc导出指定表的所有内容
  2. sys_dump -t -Fp -s 导出指定表的定义信息
  3. tar打包

专用配置参数

_dump_tables

举例说明

# cat jobs/valid_job2.job

_dump_tables="public.t1,schema1.t1"

存储位置

# ls -A kdb_backup/databackup/kdb_daily_dump/2022/07/26/valid_job2.job/

test_public.t1_schema1.t1_20220726_202143.dmp.tar.gz

test_public.t1_schema1.t1_stru_20220726_202143.sql.tar.gz

Job3类型说明

作用

备份全库，排除指定模式或指定表，可使用英文逗号为间隔添加多个表或模式，可使用正则表达

注：排除指定表参数值必须是“模式名.表”的形式

原理
  1. sys_dump -N -T -Fc导出指定表的所有内容
  2. sys_dump -N -T -Fp -s 导出指定表的定义信息
  3. tar打包

专用配置参数

_dump_all_exclude_schemas _dump_all_exclude_tables

举例说明

# cat jobs/valid_extbs.job

_dump_all_exclude_tables="public.t1,public.t2"

#cat jobs/valid_job3.job

_dump_all_exclude_schemas="pub*,schd*"

_dump_all_exclude_tables="hisdb.yc_*,hisdb.yc,hisdb.yc_ddd"

存储位置

# ls -A kdb_backup/databackup/kdb_daily_dump/2022/07/26/valid_job3.job/

test_pub*,schd*hisdb._20220726_202238.dmp.tar.gz

test_pub*,schd*hisdb._stru_20220726_202238.sql.tar.gz

Job4类型说明

作用

备份指定表

原理
  1. 若脚本所在机器与数据库服务器不在同一机器，中断该任务，因为copy不支持远程写文件
  2. select relname from sys_class where RELNAMESPACE=(select oid from sys_namespace where nspname='${schema_name}') and relname like '${tables_prefix}' and relkind='r' 查询出要备份的表列表
  3. sys_dump -t -s -Fp 备份表定义信息
  4. 构造delete语句和用于恢复的copy from语句
  5. 构造copy to语句备份每个表：

copy (select * from ${schema_name}.${one_table} ${where_condition}) to ${file}

专用配置参数

_copy_tables_to

只能配置一个，格式为 dbname!schema!tablename

其中英文叹号!为分隔符，tablename可使用%，t%表示t开头的该库该模式下所有的表，注意_my_kdb_dbname变量不会生效，已配置内的dbname为准

会优先使用_my_kdb_user（若未配置则使用_kdb_user），_my_kdb_pass（若未配置则使用_kdb_pass），和dbname构造免密字符串写到~/.encpwd文件中

_copy_tables_stru

是否备份表结构，1代表是，0或者不配为否

_copy_tables_where_condition

备份表的部分内容

举例说明

# cat jobs/valid_copy_job4.job

_copy_tables_to="test!public!t%"

_my_keep_count="2"

# cat jobs/valid_copy_where_job4.job

_copy_tables_to="test!public!t1"

_copy_tables_where_condition="where id > 1000"

备份表的增量数据时，可以这样设置 .job 文件达到目的，若有多个不同的表需要增量备份，可以设置多个类似的 .job 文件：

# cat jobs/valid_time.job

_copy_tables_to="hello!public!alarm_model_%" # 备份hello数据库的public模式下的alarm_model_%表

_copy_tables_where_condition="where occur_time between '`date '+%Y-%m-%d' -d '-1 days'`' and '`date '+%Y-%m-%d'`'"     # 限定只备份前一天的数据

_my_crontab_prefix="30 00 * * *"      # 设置每天0：30执行本备份任务

_my_kdb_user="hello"               # hello数据库需要不同于全局配置的一个用户名去链接

_my_kdb_pass="MTIzNDU2"         # base64后的该用户的密码

存储位置

# ls -A kdb_backup/databackup/kdb_daily_copy/2022/07/26/valid_copy_job4.job/t_20220726_202408/

copy_from  copy_to  data

# ls -A kdb_backup/databackup/kdb_daily_copy/2022/07/26/valid_copy_job4.job/t_20220726_202408/copy_from/

test_public_t1_20220726_202408_.sql  test_public_t2_20220726_202408_.sql

# ls -A kdb_backup/databackup/kdb_daily_copy/2022/07/26/valid_copy_job4.job/t_20220726_202408/copy_to/

test_public_t1_20220726_202408_.sql  test_public_t2_20220726_202408_.sql

# ls -A kdb_backup/databackup/kdb_daily_copy/2022/07/26/valid_copy_job4.job/t_20220726_202408/data/

test_public_t1_20220726_202408_.txt  test_public_t2_20220726_202408_.txt

Job5类型说明

作用

备份整个数据库

原理
  1. sys_dump -n -Fc导出所有内容
  2. sys_dump -n -Fp -s 导出定义信息
  3. tar打包

专用配置参数

_dump_all

注意：只能设置为yes

举例说明

# cat jobs/valid_job5.job

_dump_all="yes"

存储位置

# ls -A kdb_backup/databackup/kdb_daily_dump/2022/07/27/valid_job5.job/

test_all_20220727_203445.dmp.tar.gz  test_all_stru_20220727_203445.sql.tar.gz

Job6类型说明

作用

备份打包指定目录下N天前的旧文件并删除旧文件，可用于清理sys_log目录或者脚本日志目录

原理

find ${_tar_del_older_files_in_the_dir} -mtime +${target_older_files_age} -type f -printf '%P ' | xargs tar --remove-files -C ${_tar_del_older_files_in_the_dir} -cvzf ${tar_filename}

找到旧文件打包，并把旧文件删除

专用配置参数

_tar_del_older_files_in_the_dir

举例说明

$ cat kdb_backup/jobs/valid_bklog1.job

_tar_del_older_files_in_the_dir="/128G/shell-script/kdb_backup/databackup/log/"

存储位置

$ ls -A kdb_backup/databackup/older_files/valid_bklog1.job

20220805_235848.tar.gz

还原备份功能说明

作用

还原通过job4备份的sql文件，可按照时间进行选择

原理
  1. 查找目录kdb_daily_copy下所有符合条件的sql文件，如果是按照时间选择还原，则通过echo ${file} | awk -F"_" '{print $4} 得到文件创建日期，通过时间戳`date -d "$var" +%s`获得符合条件的文件
  2. 通过ksql –f xxx.sql 导入到数据库中

专用配置参数

_kdb_daily_restore_path

举例说明

$ cat logic_backup_manager.conf

_kdb_daily_restore_path="${_kdb_backup_data_path}/kdb_daily_copy"

使用示例：

./logic_backup_manager.sh restore 20220909-20220910

读取文件位置

$ ls -A kdb_backup/databackup/kdb_daily_copy

2021  2022  2023

全局配置参数说明

配置名

说明

_log_level

脚本日志级别：debug:0, info:1, warn:2, error:3

error除了写日志外还输出到屏幕

_kdb_home

KES bin/lib/share目录的上级目录

_kdb_bin_path

sys_dump、ksql所在的目录

_kdb_port

端口

_kdb_host

数据库的ip或hostname

_kdb_connect_timeout

链接数据库超时秒数设置，必须为纯数字

0或负数是永不超时，2是最小超时秒数，设为1实质为2s超时

_kdb_user

数据库用户名

_kdb_pass

_kdb_user用户名的base64后的密码

_kdb_dbname

数据库名

_ld_library_path

Lib目录

_kdb_backup_jobs_path

.job文件所在的目录

_keep_count

保留的备份数量

_os_ip_cmd

ip命令

_os_rm_cmd

rm命令

_os_sed_cmd

sed命令

_os_grep_cmd

grep命令

_kdb_backup_path

备份所在根目录

_kdb_backup_data_path

备份目录

_date_ymd

年月日的字符串

_date_y

年的字符串

_date_m

月的字符串

_date_d

日的字符串

_date_path

按年、月、日划分的目录的字符串

_kdb_backup_data_tmp_path

备份使用的临时目录

_kdb_backup_job_record_path

备份任务的记录文件所在的目录

_kdb_daily_dump_path

sys_dump任务的数据目录

_kdb_daily_copy_path

copy任务的数据目录

_kdb_backup_log_path

日志目录

_kdb_script_log_file

日志文件名

_copy_data

copy数据的目录

_copy_to

copy to SQL文件所在的目录

_copy_from

copy from SQL文件所在的目录

_archived_wal_age

归档wal日志保留天数

_archived_wal_path

归档wal日志所在的目录

_crontab_prefix

crontab自动执行的前缀

_older_files_age

旧文件保留天数

_kdb_backup_older_files_path

旧文件打包备份路径

_collect_info_path

信息收集目录

_collect_locks_file

locks路径和名称

_collect_lac_file

lac路径和名称

_collect_iostat_file

iostat路径和名称

_collect_top_file

top路径和名称

_collect_sys_stat_file

Sys_stat路径和名称

_collect_vmstat_file

vmstat路径和名称

_collect_lx_file

lx路径和名称

_collect_client_file

client路径和名称

_collect_crontab_prefix

信息收集功能crontab的前缀

weixin_38143404
关注
人大金仓KingbaseES：windows安装
孙霸天的专栏
03-04 1259
金仓数据库管理系统[简称:KingbaseES]是北京人大金仓信息技术股份有限公司（简称人大金仓）自主研发的、具有自主知识产权的商用关系型数据库管理系统（DBMS）。该产品面向事务处理类应用，兼顾各类数据分析类应用，可用做信息管理系统、业务及生产系统、决策支持系统、全文检索、地理信息系统等的承载数据库。
MySQL脚本到Kingbase脚本_centos7.2 数据库定时备份 crond实现（以kingbase7为例）
weixin_39530839的博客
02-19 273
项目上线时，经常需要定时对数据库进行备份，以应对不确定的环境和未知的问题。整理如下：crond是什么？crond 和crontab是不可分割的。crontab是一个命令，常见于Unix和类Unix的操作系统之中，用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行。该词来源于希腊语chronos(χρόνος)，原意是时间。而crond...
kingbase数据库定时逻辑备份部署
weixin_58142792的博客
01-02 657
suptools.ini是定时备份任务读取的控制文件，需要编辑此文件来配置备份策略（备份时间和备份的数据库）。运行 ./backup8.sh，对数据库进行第一次逻辑备份，逻辑备份默认会生成dmp格式的备份文件。数据库单机或集群需要部署定时逻辑备份，通过定时任务自动对数据库进行备份。运行 ./fast_deploy_backup8.sh，自动生成定时备份任务。运行 ./backup8_check.sh，检查生成的备份文件。下面以V8R6版本的数据库为例，配置定时逻辑备份。3.配置定时备份任务。
KingbaseES数据库逻辑备份还原
最新发布
m0_61066945的博客
07-15 1327
逻辑备份还原的用法
Linux下KingbaseESV8数据库的自动备份
weixin_49561506的博客
03-21 1169
Linux下编写自动备份数据库脚本，并加入到定时任务中
人大金仓kingbaseES逻辑备份工具-sys_dump
arthemis_14的博客
11-08 893
sys_dump可以将整个数据库备份到一个归档格式的备份文件中，而sys_restore则可从这个归档格式的备份文件中选择性地恢复部分表或数据库对象。另一种格式是tar 格式(使用命令项参数-Ft来指定)，这种格式的文件不是压缩的，并且加载时不能重排列，但是它也很灵活，可以用标准UNIX下的tar 工具进行处理。重建数据库时，归档格式的备份文件必须和sys_restore一起使用，它允许sys_restore选择恢复哪些数据，甚至可以在恢复之前对需要恢复的条目重新排序。2、sys_dump命令。
人大金仓数据库sys_dumpall逻辑备份脚本
wuzedewuze的专栏
04-18 649
人大金仓数据库 逻辑备份脚本
人大金仓Kingbase数据库备份和还原
欧阳啸天的专栏
12-22 5791
人大金仓中的备份命令为sys_dump，数据还原的方式有两种，分别是ksqlsys_restore命令，下面对这几个命令分别进行介绍。
kingbase数据备份与导入
小菜鸟--成长之路的博客
03-26 4718
逻辑备份 cd D:\soft\Kingbase\ES\V8\Server\bin sys_dump -h 127.0.0.1 -p 54321 -U SYSTEM -W SYSTEM -f G:\2020\bak\dumpfile.dmp DEMO 以上命令执行后将会把DEMO数据库备份至G:\2020\bak\dumpfile.dmp 参数说明： -U：数据库用户账户 -W：数据库用户密码 -f：备份文件的存储路径 DEMO：将要备份的数据库的名称 逻辑还原 c...
KINGBASE KCA KCP 认证题库整理（人大金仓）
02-26
- **解释**：KingbaseES v8提供了数据库对象管理器这一工具，它能够帮助用户执行SQL语句、分析查询计划、显示查询统计情况以及实现索引分析等高级功能。 ### 三、KingbaseES v8 实用技巧 #### 1. 听端口号 - **...
KingbaseESV8运维文档.doc-revHEAD.pdf
05-19
3. 数据目录位置：一般情况下，数据目录位于"/home/kingbase/KingbaseES/V8/data"，但在早期版本中，路径可能是"/opt/Kingbase/ES/V8/bin/temp/data"。 二、定时备份信息 1. 查看或修改定时备份脚本：在安装用户下...
KingbaseESV8 SQL教程与数据库管理指南
"KingbaseES-V8_manual.pdf 是一份详细的Kingbase SQL教程，涵盖了数据库的各个方面，包括SQL语言、服务器编程、客户端编程、数据库管理、高可用性、性能调优、客户端工具、数据集成、安全管理以及监控。" ...
kingbaseV8物理备份配置
weixin_45105073的博客
01-02 403
repo_path="/data/backup_rman/kbbr_repo"#备份集目录，kbbr_repo这个之前的路径随意，这个是必须存在的。_single_bin_dir="/home/kingbase/cluster/kingbase/bin"在使用sys_rman命令时需要。sys_backup.sh stop（在/etc/cron.d/KINGBASECRON定时任务中删除定时任务）_single_data_dir="/data/data" #data路径。每周第七天凌晨2点进行全被。
定期备份kingbase数据库
weixin_47387140的博客
01-06 516
1.1.2 在我执行kingbase_bak时，发现不能正常执行 : 1) 当 su - dbuser后，因为bakdir目录的属主，属组不是dbuser ,用户无法写入文件；2) 切换到dbuser身份后，并不能继续执行属主属组为root的备份脚本 ##解决: 以root身份执行备份命令。1.1.1 执行clear_bak时报错 : rm: invalid option -- w ##解决 添加 -- 结束 rm 的参数。3.添加脚本路径到环境变量。4.备份脚本添加到计划任务。
Linux版 人大金仓数据库 定时备份
Tanya_ao的博客
01-05 1572
Linux版 人大金仓数据库 定时备份。
KingbaseV8R6单实例定时全量备份步骤
qq961573863的博客
12-22 1302
KingbaseV8R6单实例定时全量备份步骤
Linux人大金仓数据定时备份、删除和还原
clyyy123的博客
04-02 920
Linux人大金仓数据库 定时备份、删除和还原
kingbase 物理备份
ai_d_d的博客
09-25 518
本文使用的配置：虚拟机：CentOS7KES版本：kingbaseES V8R6 通用型license：企业版。
kingbase v8r6 -数据库-物理备份
myhost_的专栏
01-03 680
kingbase v8r6 -数据库-物理备份
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值