clickhouse-backup 备份恢复

最新推荐文章于 2024-09-18 19:09:37 发布

alidxy

最新推荐文章于 2024-09-18 19:09:37 发布

阅读量1k

点赞数 6

文章标签： clickhouse kubernetes

本文链接：https://blog.csdn.net/diamontheway/article/details/137596119

版权

1、概述

用于 ClickHouse 备份和恢复的工具，支持多种云和非云存储类型。要备份数据，需要访问与文件夹中clickhouse-backup相同的文件。因此，最好在同一主机或同一 Kubernetes Pod 上运行，或者在运行的同一主机上的邻居容器上运行。

项目简介

需要备份的目录

目前备份对比

特点

轻松创建和恢复所有或特定表的备份
在文件系统上高效存储多个备份
使用流式压缩上传和下载
适用于 AWS、GCS、Azure、腾讯 COS、FTP、SFTP
支持原子数据库引擎
支持多磁盘安装
rclone
支持远程存储增量备份

限制

仅 MergeTree 系列表引擎（更多表类型适用于clickhouse-server22.7+ 和USE_EMBEDDED_BACKUP_RESTORE=true）

工作原理

数据文件在clickhouse-server 在备份操作期间，通过执行查询clickhouse-backup创建到现有数据部分的文件系统硬链接。在恢复操作期间，将硬链接复制到文件夹并对备份中的每个数据部分和每个表执行查询

更详细的描述请参见此处https://www.youtube.com/watch?v=megsNh9Q-dwclickhouse-serverALTER TABLE … FREZZEclickhouse-backupdetachedALTER TABLE … ATTACH PART

备份原理

use_embedded_backup_restore为false

clickhouse-backup执行alter table 命令
备份移动到backup
上传备份

use_embedded_backup_restore为true

clickhouse-backup执行BACKUP SQL 命令
clickhouse-server上传物理数据或执行 CopyObject 到 s3 远程存储
在文件夹上创建元数据文件/var/lib/clickhouse/disks/backup_s3/backup_name/
clickhouse-backup创建/var/lib/clickhouse/disks/backups_s3/backup_name/metadata.json和/var/lib/clickhouse/disks/backups_s3/backup_name/metadata/db/table_name.json
upload上传到配置文件中定义的s3远程存储中

在源码中可以看到这部分逻辑：https://github.com/Altinity/clickhouse-backup/blob/2692ec8e830af13a8b292443fc36608b18cb8f01/pkg/backup/create.go

Clickhouse备份恢复参考：https://clickhouse.com/docs/en/operations/backup#configure-a-backup-destination

当use_embedded_backup_restore: true时，使用BACKUP/RESTORE SQL语句而不是常规SQL

恢复原理

下载备份文件
创建库表
将文件move到clickhouse 相关表的detatched目录
alter恢复数据

use_embedded_backup_restore为true 在恢复数据时执行SQL 命令，读取 s3 密钥并将数据部分下载到磁盘的 /var/lib/clickhouse/tmp

2、安装

二进制安装

wget https://github.com/Altinity/clickhouse-backup/releases/download/v2.4.35/clickhouse-backup-linux-amd64.tar.gz 
解压文件即可

部署在k8s中

可以采用operator的方式部署，跟Clickhouse在同一个pod或者在同一个容器中

containers:
- name: clickhouse-cluster
  image: {{ .Values.image.registry }}
  volumeMounts:
  - mountPath: /etc/clickhouse-server/config.xml
    name: chi-clickhouse-cluster-config-file
    subPath: config.xml
  resources:
    {{- toYaml (index $.Values.resources $.Values.global.resourceProfile).resource | nindent 14 }}
- name: clickhouse-backup
  volumeMounts:
    - mountPath: /var/lib/clickhouse
      name: ck-data-dir
  image: altinity/clickhouse-backup:master

3、配置

默认配置文件在/etc/clickhouse-backup/config.yaml，默认是没有配置文件的，可以用命令生成默认的配置文件

clickhouse-backup default-config > config.yml

参数：

general:
    backups_to_keep_local: 0   # 保留多少本地备份，0表示所有创建备份都在本地保留，-1表示将在create之后保留，但在create_remote之后删除
    backups_to_keep_remote：0  # 保留多少远程存储，0为所有的都保留
    download_concurrency：1    # 最大值255 
    upload_concurrency：1      # 最大值255 
clickhouse:
  use_embedded_backup_restore：true #   use BACKUP / RESTORE SQL statements instead of regular SQL queries to use features of modern ClickHouse server versions
api:
    create_integration_tables  # create `system.backup_list` and `system.backup_actions` 
    enable_metrics: true       # 开启metrics
    enable_pprof: true         # /debug/pprof
    allow_parallel             # 启用并行操作

更多配置可以参考：https://github.com/Altinity/clickhouse-backup?tab=readme-ov-file#default-config 内容还是比较详细的

4、开始备份

备份的时候默认不会备份系统表
只能在clickhouse的机器上备份
metadata里存储的是元数据信息，创建表的语句啥的

NAME:
   clickhouse-backup - Tool for easy backup of ClickHouse with cloud support

USAGE:
   clickhouse-backup <command> [-t, --tables=<db>.<table>] <backup_name>

VERSION:
   2692ec8e830af13a8b292443fc36608b18cb8f01

DESCRIPTION:
   Run as 'root' or 'clickhouse' user

COMMANDS:
   tables               List of tables, exclude skip_tables
   create               Create new backup
   create_remote        Create and upload new backup
   upload               Upload backup to remote storage
   list                 List of backups
   download             Download backup from remote storage
   restore              Create schema and restore data from backup
   restore_remote       Download and restore
   delete               Delete specific backup
   default-config       Print default config
   print-config         Print current config merged with environment variables
   clean                Remove data in 'shadow' folder from all 'path' folders available from 'system.disks'
   clean_remote_broken  Remove all broken remote backups
   watch                Run infinite loop which create full + incremental backup sequence to allow efficient backup sequences
   server               Run API server
   help, h              Shows a list of commands or help for one command

GLOBAL OPTIONS:
   --config value, -c value  Config 'FILE' name. (default: "/etc/clickhouse-backup/config.yml") [$CLICKHOUSE_BACKUP_CONFIG]
   --help, -h                show help
   --version, -v             print the version

命令还是比较直观的

print-config: 打印当前配置
default-config: 打印默认配置
create: 创建备份
create_remote: 创建备份，并上传到指定存储
restore：创建表结构，恢复数据
restore_remote: 下载备份文件，恢复数据
list：列出备份集
download：下载备份集
delete：删除备份集
server：启动服务。外部可以使用api方式发起备份、恢复任务。适合在容器化环境中使用。
clean: 清理备份
watch： 循环备份，创建完整+增量备份序列

增量备份的注意事项

在增量备份期间，如果修改表，删除表之类的。会扰乱增量备份的机制

原因是删除更改表，每个单独的部分会创建一堆具有新名称的部分，在这种情况下，用clickhouse备份来进行增量时，会有些问题。比如修改字段后会有两个字段都有着相同的数据这样

5、接口备份

GET /

列出当前所有适用的 HTTP 路由


/restart                            # 重新启动 HTTP 服务器
/backup/kill                        # 从命令列表中杀死选定的命令GET /backup/actions，杀死进程，但某些 go 例程（上传一个数据部分）可以继续运行。可选查询参数command可能包含要终止的命令名称，或者如果省略，则终止第一个“正在进行的”命令。
/backup/watch                       # 运行后台监视进程并创建完整+增量备份序列
/backup/tables                      # 打印表列表
/backup/tables/all                  # 打印全部表列表
/backup/list                        # 查看备份列表
/backup/list/{where}                # 查看特定的备份列表

/backup/create                      # 创建备份
/backup/clean                       # 从system.disk中可用的所有path文件夹中删除shadow文件夹中的数据
/backup/clean/remote_broken         # 删除所有损坏的远程备份
/backup/upload/{name}               # 上传备份
/backup/download/{name}             # 下载备份
/backup/restore/{name}              # 恢复备份
/backup/delete/{where}/{name}       # 删除特定的指定备份
/backup/status                      # 显示当前正在运行的异步操作的列表
/backup/actions                     # 显示 API 服务器启动以来的所有操作的列表

每个接口都有对应的参数，具体i可以参考：https://github.com/Altinity/clickhouse-backup/?tab=readme-ov-file#api

6、通过接口恢复

1、表级别恢复

删除test表

使用备份文件恢复

# 查看备份列表
curl "chi-clickhouse-cluster-dtstack-0-0:7171/backup/list"
# 下载备份
curl "chi-clickhouse-cluster-dtstack-0-0:7171/backup/download/shard0-increment-20240408044511" -XPOST  
{"status":"acknowledged","operation":"download","backup_name":"shard0-increment-20240408044511"}
# 恢复备份
curl "chi-clickhouse-cluster-dtstack-0-0:7171/backup/restore/shard0-increment-20240408044511?table=local_1.test&rm" -X POST 
{"status":"acknowledged","operation":"restore","backup_name":"shard0-increment-20240408044511"}

恢复时如果不加rm会报错：can’t create table local_1.test: code: 57, message: Directory for table data store/287/2875f3f9-466f-43ac-938a-62fe69210777/ already exists after 1 times, please check your schema dependencies

原因是：删除后不会立即删除，而是等待一段时间后删除，默认是8min，当然也可以直接重启，也是可以的

查看恢复状态

数据没有删除之前多是正常状态，因为中间差了一个小时的数据，一个小时备份一次

2、库级别恢复

删除库

恢复库

curl "chi-clickhouse-cluster-dtstack-0-0:7171/backup/restore/shard0-increment-20240408044511?table=local_1.*&rm" -X POST 
{"status":"acknowledged","operation":"restore","backup_name":"shard0-increment-20240408044511"}
curl "chi-clickhouse-cluster-dtstack-0-0:7171/backup/actions"
{"command":"restore --tables="local_1.*" --rm shard0-increment-20240408044511","status":"success","start":"2024-04-08 06:31:55","finish":"2024-04-08 06:31:56"}

验证是否恢复

库中表已恢复

库中数据已恢复

最后记录下踩过的坑

问题一： use_embedded_backup_restore改为true报错

error clickhouse `timeout: 5m`, not enough for `use_embedded_backup_restore: true` logger=server.Run

解决办法：

调整对应的参数, 时间改长，原因是BACKUP/RESTORE SQL命令在执行过程中可能会花费大量时间

- name: CLICKHOUSE_TIMEOUT
  value: 4h

扩展：

use_backup_embedded_restore：true需要定义单独的备份磁盘

参考

https://github.com/Altinity/clickhouse-backup/blob/master/test/integration/config-s3-embedded.yml#L20-L23

https://github.com/Altinity/clickhouse-backup/blob/master/test/integration/dynamic_settings.sh#L214-L238

问题二：使用watch进行持续增量和全量备份报错

 'error Watch error: fullInterval 24h is too long to keep 3 remote backups with watchInterval 1h logger=server.

解决办法：

调整BACKUPS_TO_KEEP_REMOTE保留参数为24 ，因为当前设置BACKUPS_TO_KEEP_REMOTE保留3个不满足当前需求，1小时一个备份，24小时进行一次全备，那么至少需要保留24个

alidxy

关注

6
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫