cloudera manager 5.16 spark版本_0709-5.16.2-如何将CM的外部PostgreSQL数据库迁移至MySQL服务...

文档编写目的

在前面的文章《5.16.2-如何将CM内嵌PostgreSQL服务迁移至外部PostgreSQL服务》介绍了将CM内嵌的PostgreSQL迁移至外部PostgreSQL，因为CM内嵌的PostgreSQL数据库不支持直接迁移至MySQL。本篇文章Fayson主要介绍如何将集群使用的外部PostgreSQL迁移至MySQL数据库。

注意：不支持直接从Cloudera Manager嵌入式PostgreSQL迁移到MySQL / Oracle数据库。您必须首先从Cloudera Manager嵌入式PostgreSQL数据库服务器迁移到外部PostgreSQL数据库服务器。

只有在成功从嵌入式PostgreSQL数据库服务器迁移到外部PostgreSQL数据库服务器后，才能迁移到外部MySQL或Oracle数据库。

• 内容概述

1. 安装Mariadb服务
2. 数据库迁移
3. 验证
4. 总结

• 测试环境

1. CM和CDH版本均为5.16.2
2. 采用root用户

迁移前集群环境确认

CM元数据库类型为postgresql

cat /etc/cloudera-scm-server/db.properties

Hue用户及用户组

Hue的数据库类型为PostgreSQL

用户信息

用户组信息

管理员信息

Hive数据库及表信息

Hive的数据库类型为PostgreSQL

如下所示，当前hive中有default和test两个数据库；default数据库中有两个表。

查看table_partitioned表的数据

Sentry授权信息

Sentry的数据库类型为PostgreSQL

Sentry的授权信息如下

安装MySQL

选一台节点安装MariaDB服务

yum -y install mariadb mariadb-server

启动mariadb服务并设置为开机自启动

systemctl start mariadbsystemctl enable mariadbsystemctl status mariadb | grep Active

初始化MariaDB数据库

/usr/bin/mysql_secure_installation

使用root用户登录查看当前数据库

安装MySQL JDBC驱动

将mysql驱动上传至/usr/share/java目录，并以软链接的方式去掉驱动版本号

迁移CM元数据库

导出Cloudera Manager配置文件

获取当前支持的API版本

curl -u admin:admin "http://192.168.0.204:7180/api/version"

导出json格式配置文件

curl -u admin:admin "http://192.168.0.204:7180/api/v19/cm/deployment" > /root/cm/cm-deployment.json

执行如下命令，保留Cloudera Manager的GUID号

sudo -u postgres psql -qtAX scm -c "select GUID from CM_VERSION" > /etc/cloudera-scm-server/uuid

停止集群和Cloudera Management Service服务

在CM节点上执行如下命令停止cloudera-scm-server服务

systemctl stop cloudera-scm-serversystemctl status cloudera-scm-server | grep Active

登录MySQL执行如下SQL语句创建scm数据库及用户并授权

create database scm default character set utf8;CREATE USER 'scm'@'%' IDENTIFIED BY 'password';GRANT ALL PRIVILEGES ON scm.* TO 'scm'@'%';FLUSH PRIVILEGES;

执行如下命令，初始化Cloudera Manager数据库配置

/usr/share/cmf/schema/scm_prepare_database.sh mysql scm scm password

清空所有节点的/var/run/cloudera-scm-agent/process/目录

使用批量命令，停止集群所有节点的agent和supervisor服务

sh ssh_do_all.sh node.list 'service cloudera-scm-agent next_stop_hard'sh ssh_do_all.sh node.list 'systemctl stop cloudera-scm-agent'

查看进程是否已被停止

ps -ef | grep cmf-agentps -ef | grep supervisord

使用批量命令，使用mv命令将集群所有节点的agent目录备份

sh ssh_do_all.sh node.list 'mv /var/run/cloudera-scm-agent /var/run/cloudera-scm-agent-BU'

sh ssh_do_all.sh node.list 'ls /var/run | grep cloudera-scm-agent*'

使用批量命令，启动集群所有节点的cloudera-scm-agent服务

sh ssh_do_all.sh node.list 'systemctl start cloudera-scm-agent'sh ssh_do_all.sh node.list 'systemctl status cloudera-scm-agent | grep Active'

启动Cloudera Manager Server

systemctl start cloudera-scm-servernetstat -lnpt | grep 7180

使用超级管理员用户登录CM

接收许可条款，【继续】

如果有许可证，上传许可证，没有许可证选择企业试用版，【继续】，然后单击左上角返回CM主页

注意：必须要上传许可证或者选择试用版继续之后再返回主页，否则会导致使用curl导入集群配置时失败。

当前CM主页状态如下：

执行如下命令调用CM API接口，恢复Cloudera Manager配置

curl -v -H "Content-Type: application/json" --upload-file /root/cm/cm-deployment.json -u admin:admin "http://192.168.0.204:7180/api/v19/cm/deployment?deleteCurrentDeployment=true"

再次查看CM主页，CM配置已导入成功

启动服务

启动Cloudera Mangement Service

Cloudera Management Service启动成功后，等待parcel分发完成，然后启动集群服务并分发客户端配置。

查看集群CM元数据库使用的数据库服务器，如下所示，此时已迁移至MySQL

cat /etc/cloudera-scm-server/db.properties

迁移集群其他服务元数据库

此时只有CM的数据库scm迁移到了MySQL，集群其他服务的元数据库(Hive、Sentry、Hue、Oozie等)仍然配置的为PostgreSQL，接下来主要介绍通过使用工具将PostgreSQL数据库迁移至MySQL数据库，如下示例以迁移Hive元数据库为例。

下载安装数据库转换工具 DBConvert for MySQL & PostgreSQL，下载地址如下：

https://dbconvert.com/downloads/dbconvert_mysql_postgresql.zip

下载完成之后解压，执行dbconvert_mysql_postgresql文件夹下的setup.exe进行安装

安装完成后打开该软件，选择【Try】使用版

这里以hive元数据库转换为例，配置PostgreSQL数据库连接信息

测试连接成功，单击下一步

此时会显示数据库中的所有表，全部勾选；然后单击【OK】

配置目标数据库连接信息(即我们要迁移的MySQL信息)

测试连接成功后单击【Next】

自定义要转换的表，然后单击【Next】

单击【commit】开始进行转换

转换成功后显示如下

然后依次转换其他数据库即可

注意：转换hue数据库时，有些表因为外键的原因不能被转换，根据提示取消相关外键即可

数据库迁移完成后，登录mysql查看数据库如下：

创建用户并授予数据库上的权限

CREATE USER 'hive'@'%' IDENTIFIED BY 'password';GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%';FLUSH PRIVILEGES;CREATE USER 'sentry'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON sentry. * TO 'sentry'@'%'; FLUSH PRIVILEGES;CREATE USER 'rman'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON rman. * TO 'rman'@'%'; FLUSH PRIVILEGES;CREATE USER 'hue'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON hue. * TO 'hue'@'%'; FLUSH PRIVILEGES;CREATE USER 'oozie'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON oozie. * TO 'oozie'@'%'; FLUSH PRIVILEGES;

更换数据库服务器

进入Hive配置页面，修改Hive的Metastore数据库类型为MySQL，然后修改其在 MySQL中的数据库名称

oozie服务重启失败，报错如下

Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException:Table 'oozie.VALIDATE_CONN' doesn't exist

解决方式：为oozie服务创建数据库

完成上述修改后，然后回到CM主页，根据提示重启相关服务

服务重启完成后，此时数据库已迁移至MySQL数据库服务器。

迁移后验证

Hue验证

查看Hue当前数据库类型为MySQL

使用管理员账号admin登录Hue验证数据是否完整

admin用户的管理员权限与迁移前一致

迁移后的用户信息与迁移前数据一致

用户组信息与迁移前信息一致

Hive验证

查看Hive当前数据库类型为MySQL

通过Hue查看Hive数据库以及表信息如下：

查看分区表数据如下：

查看分区表结构如下：

由上图可知，数据库迁移完成后Hive的数据库、表、表结构以及表数据均迁移成功。

Sentry验证

查看Sentry当前数据库类型为MySQL

通过Hue查看Sentry的授权信息如下：

使用hive用户进行建表测试

建表成功

向表中插入数据，数据插入成功

执行查询操作，查询成功

总结

1. 将Cloudera Manager服务使用的PostgreSQL迁移至MySQL时，主要通过CM API接口导出集群配置信息json文件，再通过CM API接口导入完成数据库的迁移。
2. 集群其它服务(Hive、Sentry、Oozie、Hue等)在迁移时并未相应的API接口实现，主要是通过DBConvert for MySQL & PostgreSQL工具将PostgreSQL数据的数据转换为MySQL数据库的方式解决。
3. 在进行Hue数据库转换的过程中由于部分表外键的问题，导致转换失败，需要将报错的外键取消勾选。
4. Oozie服务重启失败，报错如下：

Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'oozie.VALIDATE_CONN' doesn't exist

解决方式：为oozie服务创建数据库