Gaussdb(DWS) 迁移工具GDS介绍及搭建使用

一、GDS迁移工具介绍

        GDS是Gaussdb(DWS)提供的数据迁移工具，面对大量数据可实现数据的高速导入，GDS一般需要部署到单独服务器上（也可以部署到数据服务器上），面对大数据量，可在多台服务器上部署gds，用不同端口启动gds服务，可实现数据并行入库 。

1.GDS支持在如下的操作系统中安装：

华为鲲鹏平台：

• Community Enterprise Operating System 7.6。
• EulerOS 2.0 SP8。
• Red Hat Enterprise Linux Server release 7.5。
• 中标麒麟7.5/7.6。
• 红旗操作系统7.5。
• 银河麒麟 4.0.2。

x86平台：

• SUSE Linux Enterprise Server 10 SP4 x86_64。
• SUSE Linux Enterprise Server 11 SP1/SP2/SP3/SP4 x86_64。
• SUSE Linux Enterprise Server 12 SP0/SP1/SP2/SP3/SP5 x86_64。
• Red Hat Enterprise Linux Server release 6.4/6.5/6.6/6.7/6.8/6.9/7.0/7.1/7.2/7.3/7.4/7.5 x86_64。
• Community Enterprise Operating System 6.4/6.5/6.6/6.7/6.8/6.9/7.0/7.1/7.2/7.3/7.4 x86_64。
• 红旗操作系统7.3。
• EulerOS 2.5 x86_64。

 2.注意事项

（1）GDS的版本必须和集群版本保持一致，否则可能出现导入导出失败或者停止响应等情况，查看GDS版本：在DGS工具的解压目录下执行命令：gds -V

（2）GDS所在的数据服务器必须按照推荐的操作系统以及通信参数进行配置，与集群的配置参数保持一致，确保GDS数据服务器与集群通信正常，避免发生网络断连等问题，影响业务的正常执行。

二、GDS工具搭建使用

1.上传解压GDS安装包

安装包一般在dws安装包下面，以8.1.1dws arm架构安装包为例，GDS安装包路径为：GaussDB_8.1.1.2_RHEL_ARM64>FusionInsight_MPPDB>software>components>package

使用root用户登录待安装GDS的数据服务器
mkdir -p /opt/gds_server        //存放GDS压缩包的目录
mkdir -p /opt/input_data        //存放数据源文件的目录
将GDS工具包GaussDB-8.1.1-REDHAT-aarch64bit-Gds.tar.gz从电脑上传至所创建的gds_server目录中。进入gds_server目录，解压工具包
cd /opt/gds_server/
tar -zxvf GaussDB-8.1.1-REDHAT-aarch64bit-Gds.tar.gz

 2.使用GDS

(1)创建GDS专有用户及其所属的用户组。此用户用于启动GDS及读取源数据

groupadd gdsgrp
useradd -g gdsgrp gds_user

(2)分别修改工具包和数据源文件目录属主为GDS专有用户

 
chown -R gds_user:gdsgrp /opt/gds_server
chown -R gds_user:gdsgrp /opt/input_data

(3)切换到gds_user用户

su - gds_user
执行环境依赖脚本（仅8.1.x版本适用）
cd /opt/gds_server/bin
source gds_env

(4)启动GDS服务

gds -d /opt/input_data/ -p 10.0.3.105:5000 -H 10.0.0.0/22 -l /opt/gds_server/gds_log.txt -D

关于gds参数请参考产品文档哦
查看是否启动成功
ps -ef | grep gds

 (5)关闭GDS服务

kill -9 10835

三、启动本地GDS

  在数仓集群上启动本地gds做数据导出导入服务使用，针对小批量迁移且集群本地空间足够的情况下可以使用。 

1.查看路径：

which gds

/opt/huawei/Bigdata/mppdb/core/bin/gds

2.查看启动gds缺少的包：（没有可跳过）

ldd /opt/huawei/Bigdata/mppdb/core/bin/gds

拷贝缺少包：cp /opt/huawei/Bigdata/mppdb/core/lib/libcjson.so.1 /lib64

3.启动gds:

/opt/huawei/Bigdata/mppdb/core/bin/gds -d /root/testdata/ -p 10.0.3.104:5000 -H 0.0.0.0/0 -D -t 32

/opt/huawei/Bigdata/mppdb/core/bin/gds: error while loading shared libraries: libcjson.so.1: cannot open shared object file: No such file or directory

4.处理libcjson.so.1问题：

a.查询GLIBCXX版本：

strings /usr/lib64/libstdc++.so.6 | grep GLIBCXX

b.复制包到相应位置：cp /opt/huawei/Bigdata/mppdb/core/lib/libstdc++.so.6.0.25 /usr/lib64/

c.创建软连接：ln -s /usr/lib64/libstdc++.so.6.0.25 /usr/lib64/libstdc++.so.6

5.启动：

/opt/huawei/Bigdata/mppdb/core/bin/gds -d /root/testdata/ -p 10.0.3.104:5000 -H 0.0.0.0/0 -D -t 32