DataKit之OpenGauss数据迁移工具

站在最高处呐喊的男人!

已于 2024-08-01 09:08:48 修改

阅读量1k

点赞数 3

CC 4.0 BY-SA版权

文章标签： DataKit openGauss 数据迁移

于 2024-07-30 14:19:11 首次发布

本文链接：https://blog.csdn.net/AinUser/article/details/140795716

# 在讲openGauss和datakit之前，我先说下pgloader

这个工具也支持将数据从mysql同步到openGauss或者postgresql，但是
注意了，官网明确说明了不支持视图和触发器的迁移，如果你只是迁移表结构和数据，那么这个既简单又快

下面我简述下安装部署流程和可能会遇到的问题
安装一种是docker（github地址最下面就有）一种是编译安装
1、docker
docker pull ghcr.io/dimitri/pgloader:latest
docker run --rm -it ghcr.io/dimitri/pgloader:latest pgloader --version

启动docker
docker run -tid --name pgloader_test dimitri/pgloader

创建迁移脚本
vim openGauss.loader
LOAD DATABASE
FROM mysql://root:12345@192.168.1.202:3306/test
INTO postgresql://root:12345@192.168.1.202:5432/postgres
WITH include drop, create tables, create indexes, reset no sequences,
     workers = 8, concurrency = 1,
     multiple readers per thread, rows per range = 50000
CAST
type varchar when(= 1 precision) to "boolean" drop typemod keep default keep not null;

将配置文件拷贝到docker内执行
docker cp ./openGauss.loader pgloader_test:/

进行docker容器
docker exec -it pgloader_test /bin/bash

执行迁移任务（一种是执行自定义的迁移脚本，另外一种是直接执行迁移任务）
1、pgloader openGauss.loader
2、pgloader mysql://root:12345@192.168.1.202:3306/test postgresql://jroot:12345@192.168.1.202:5432/postgres


2、编译安装
cd /usr/local
tar -zxvf pgloader-3.6.9.tar.gz
cd pgloader-3.6.9/
chmod 755 bootstrap-centos.sh

#需要下载很多关联插件
./bootstrap-centos.sh

#先package打包，后还要下载一些资源包
#此版本打包时，需要用到 openSSL11 版本的 so 库，
#如果有提示到 ("libcrypto.so.1.1" "libcrypto.so.1.0.0" "libcrypto.so.3" "libcrypto.so") 相关信息，
#需要先执行一下 yum -y install openssl openssl-devel ，再重新 make 。
make pgloader

#复制执行文件到用户本地执行目录
cp build/bin/pgloader /usr/local/bin/

#查看版本
pgloader --version

执行迁移任务
pgloader mysql://root:12345@192.168.1.202:3306/test postgresql://jroot:12345@192.168.1.202:5432/postgres


可能遇到的问题：
1、Condition QMYND:MYSQL-UNSUPPORTED-AUTHENTICATION was signalled
解决：
pgloader不支持caching_sha2_password
在/etc/my.cnf 中增加 default-authentication-plugin=mysql_native_password
重启mysql
2、KABOOM!
INFO: Control stack guard page unprotected
Control stack guard page temporarily disabled: proceed with caution

What I am doing here?

Control stack exhausted (no more space for function call frames).
This is probably due to heavily nested or infinitely recursive function
calls, or a tail call that SBCL cannot or has not optimized away.

PROCEED WITH CAUTION.
解决：
出现这个问题我是docker安装的，后来改用编译安装的方式了

参考：
https://blog.csdn.net/2401_83143557/article/details/137864590（docker安装参考）
https://www.cnblogs.com/java365/articles/17789520.html（编译安装参考）
https://pgloader.readthedocs.io/en/latest/ref/mysql.html#mysql-schema-transformations（pgloader的doc）
https://github.com/dimitri/pgloader（pgloader的github）

#1 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld


#2 当前JDK版本
wget https://download.java.net/java/GA/jdk11/9/GPL/openjdk-11.0.2_linux-x64_bin.tar.gz

vim /etc/profile
export JAVA_HOME=/usr/local/jdk-11.0.2
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile

java -version

# 一定要创建软连接
ln -s /usr/local/jdk-11.0.2/bin/java /usr/bin/java


#3 安装python环境
wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tgz
tar -zxvf Python-3.6.8.tgz
cd Python-3.6.8
./configure --prefix=/root/python3.6.8
make && make install

vi ~/.bashrc
alias python='/root/python3.6.8/bin/python3.6'
alias pip='/root/python3.6.8/bin/pip3'
source ~/.bashrc

python -V
pip --version

# 4 修改国内镜像源
vim /etc/docker/daemon.json 
{
"registry-mirrors": ["https://rsk59qvc.mirror.aliyuncs.com"]
}
service docker restart


#5 安装mysql
docker run --name mysql8 --restart=always -v /mysql_8.0.26/conf.d:/etc/mysql/conf.d -v /mysql_8.0.26/data:/var/lib/mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=jysa -d mysql:8.0.26 docker-entrypoint.sh --character-set-server=utf8mb4 --collation-server=utf8mb4_0900_ai_ci --lower-case-table-names=1

[mysqld]
binlog_format = ROW
log_bin = mysql-bin
server_id = 1
binlog_row_image = FULL
enforce_gtid_consistency = ON
gtid_mode = ON

docker restart 容器id

一定要修改mysql的密码校验插件
将caching_sha2_password修改为mysql_native_password
一定记得改完插件类型后，修改密码，不然可能导致登录不上（如图一）


# 6 设置
vi /etc/sysctl.conf
kernel.sem = 250 32000 100 999
sysctl -p


# 7 安装opengauss:5.1.0
wget https://opengauss.obs.cn-south-1.myhuaweicloud.com/5.1.0/x86/openGauss-5.1.0-CentOS-64bit.tar.bz2

useradd openGauss
passwd openGauss
usermod -aG openGauss openGauss
cat /etc/sudoers | grep openGauss
openGauss	ALL=(ALL) 	ALL

su openGauss
sudo mkdir /ops/openGauss5.1.0
sudo yum -y install bzip2
sudo tar -jxf openGauss-5.1.0-CentOS-64bit.tar.bz2


/ops/openGauss5.1.0/simpleInstall
sh install.sh -w "Jyzx2024" && source ~/.bashrc

# 修改配置文件
编辑 postgresql.conf
listen_addresses = '*'
local_bind_address = '*'
max_connections = 1000
password_encryption_type = 1

cd /ops/openGauss5.1.0/bin
gsql -d postgres
create user jyzx with createdb password 'Jyzx2024';
grant all privileges to jyzx;

# 这里使用的是openGuass用户
gs_ctl restart -D $GAUSSHOME/data/single_node -Z single_node


# 注意上面openGauss是通过部署包安装，也可以通过docker镜像安装
镜像包我放到这儿了，启动命令也在这儿：https://download.csdn.net/download/AinUser/89600056
启动容器之后，需要通过命令su - omm命令切换用户，然后执行相关的创建用户并授权的SQL，这个SQL上面有


# 8 安装openGauss datakit
wget https://opengauss.obs.cn-south-1.myhuaweicloud.com/5.1.0/tools/Datakit/Datakit-5.1.0.tar.gz

mkdir /ops/datakit5.1.0
tar -zxvf Datakit-5.1.0.tar.gz

mkdir -p logs config ssl files
cp ./application-temp.yml ./config/
vim ./config/application-temp.yml
spring:
  datasource:
    type: com.alibaba.druid.pool.DruidDataSource
    driver-class-name: org.opengauss.Driver
    url: jdbc:opengauss://192.168.1.202:5432/postgres?currentSchema=public&batchMode=off
    username: jyzx
    password: Jyzx@2024.
    druid:
      test-while-idle: false
      test-on-borrow: true
      validation-query: "select 1"
      validation-query-timeout: 10000
      connection-error-retry-attempts: 0
      break-after-acquire-failure: true
      max-wait: 6000
      keep-alive: true
      max-active: 30
      min-evictable-idle-time-millis: 600000

# 生成ssl
keytool -genkey -noprompt \
-dname "CN=opengauss, OU=opengauss, O=opengauss, L=Beijing, S=Beijing, C=CN" \
-alias opengauss \
-storetype PKCS12 \
-keyalg RSA \
-keysize 2048 \
-keystore /ops/datakit5.1.0/ssl/keystore.p12 \
-validity 3650 \
-storepass 123456

/ops/datakit5.1
java -Xms4096m -Xmx8092m -jar openGauss-datakit-5.1.0.jar --spring.profiles.active=temp


# 注意
1、java软连接一定要建立，不然使用新创建的用户可能会找不到java命令
2、datakit平台，服务器管理一定要记住密码，迁移任务中心才会显示设备
3、启动datakit的内存一定要大，不然可能导致zookeeper和kafka进程被杀
4、进入容器后切用户一定要记得使用su - omm



参考：
https://jeames.blog.csdn.net/article/details/134016239（安装openGuass数据库）
https://blog.csdn.net/weixin_41645135/article/details/135891534（安装datakit）
https://opengauss.org/zh/download/archive/（官网下载包）
https://docs-opengauss.osinfra.cn/zh/docs/5.0.0/docs/DataMigrationGuide/%E5%85%A8%E9%87%8F%E8%BF%81%E7%A7%BB.html（官网全量迁移文档）
https://app.yinxiang.com/fx/a780e65f-2852-4e83-b91f-8cfbc16d7996（同事的笔记）

备注：
手动启动kafka和zookeeper，如果是启动，第一次会先启动zookeeper，再一次执行启动命令，才会启动kafka

-- 可以先执行停止kafka的命令，确保Kafka进程已停止，避免启动时出错，停止kafka的命令如下
java -Dpath=/data/dgq/portal/portal/ -Dorder=stop_kafka -Dskip=true -jar /data/dgq/portal/portal/portalControl-6.0.0rc1-exec.jar
-- 启动kafka进程的命令
java -Dpath=/data/dgq/portal/portal/ -Dorder=start_kafka -Dskip=true -jar /data/dgq/portal/portal/portalControl-6.0.0rc1-exec.jar