高级运维工程师教你银河麒麟V10高级服务器操作系统clickhouse数据迁移技术全网唯一

银河麒麟V10操作系统clickhouse数据迁移技术

前言
笔者自述：笔者本人为中国软件行业国产化进程中的一份子，本人也是非常支持华为手机以及鸿蒙操作系统。本文介绍在本人在实际国产化切换过程中的一些技术总结。
国产化实际实施进程中，需要将旧服务器的clickhouse生产数据迁移到新中标麒麟V10国产操作系统新服务器上。如果按官方的表为单位迁移数据，效率很低。则探究一种新的技术，来解决整套clickhouse数据迁移的工作量大，繁琐的工作瓶颈。此次引入clickhouse_backup插件，专门解决clickhouse数据迁移工作。

银河麒麟高级服务器操作系统简介：
银河麒麟高级服务器操作系统V10是针对企业级关键业务，适应虚拟化、云计算、大数据、工业互联网时代对主机系统可靠性、安全性、性能、扩展性和实时性等需求，依据CMMI5级标准研制的提供内生本质安全、云原生支持、自主平台深入优化、高性能、易管理的新一代自主服务器操作系统；同源支持飞腾、龙芯、申威、兆芯、海光、鲲鹏等自主平台；应用于政府、国防、金融、教育、财税、公安、审计、交通、医疗、制造等领域。

https://www.kylinos.cn/   #官网

一、环境实例介绍

服务器名称	IP	服务器简介	操作系统
A	172.18.21.146	源服务器，部署clickhouse数据库	Centos6.5
B	172.18.21.148	目标服务器，部署clickhouse数据库	银河麒麟V10 SP1

二、迁移原理说明

步骤1：A服务器安装clickhouse,B麒麟服务器安装同样版本的clickhouse。
步骤2：A服务器安装clickhouse_backup插件，B服务器也安装clickhouse_backup插件。
步骤3：A服务器用clickhouse_backup建立备份，将A服务器全部备份。
步骤4：将A服务器备份文件SCP命令迁移到B服务器上
步骤5：在B服务器用clickhouse_backup 恢复备份文件。
步骤6：完成A到B的数据迁移。

三、部署安装具体步骤

步骤1：下载安装包
安装包要去github上下载，有的时候网络不稳定。

https://github.com/AlexAkulov/clickhouse-backup

步骤2：安装安装包

rpm -ivh clickhouse-backup-1.4.5-1.x86_64.rpm

步骤3：生成配置文件

cd /etc/clickhouse-backup/ 

cp  config.yml.example  config.yml     #安装完成之后，会生成一个配置文件的例子，需要人工生成

步骤4：修改配置文件

vi config.yml 

配置default用户的密码让插件可以访问clickhouse的数据。

步骤5：验证命令

clickhouse-backup tables   #列出所有数据库的所有表就算成功

A和B服务器都装好备份插件！B clickhouse数据是空的，如果不是空的，数据会被覆盖。

步骤6：A服务器执行所有数据库备份命令

clickhouse-backup create ch_bk_20211123

/var/lib/clickhouse/backup #备份的路径存放地址

步骤7：用CP将备份文件复制到B服务器 在B服务器执行命令

scp -r root@172.18.21.146:/var/lib/clickhouse/backup  /var/lib/clickhouse/   #在B服务器执行命令

步骤8：查看备份文件是否正常复制过来，到B服务器操作


步骤9：B服务器执行查看备份名称列表

clickhouse-backup list

步骤10：执行恢复备份命令

clickhouse-backup restore ch_bk_20211123

步骤11：检查服务器B迁移数据是否正常

笔者简介
国内某一线知名软件公司企业认证在职员工：任JAVA高级研发工程师,大数据领域专家,数据库领域专家兼任高级DBA!10年软件开发经验！现任国内某大型软件公司大数据研发工程师、MySQL数据库DBA，软件架构师。直接参与设计国家级亿级别大数据项目!并维护真实企业级生产数据库300余个!紧急处理数据库生产事故上百起，挽回数据丢失所造成的灾难损失不计其数!并为某国家级大数据系统的技术方案（国家知识产权局颁布）专利权的第一专利发明人！