nacos多数据源插件介绍以及使用

概述

在微服务架构中，服务配置的集中管理和动态调整是至关重要的。Nacos 提供了配置管理和服务发现的功能，其中配置管理支持动态数据源的切换，增强了其在复杂环境中的适用性。默认情况下，Nacos 支持 MySQL 和Derby，但通过使用 Nacos 数据源插件，可以扩展其支持更多类型的数据源，如 dameng、kingbase、SqlServer、Oracle等。

支持数据源扩展的必要性

多数据源支持

不同的服务可能需要连接到不同的数据库，或者需要同时连接到多种类型的数据库。

环境差异

开发、测试以及生产环境可能使用不同的数据库，通过使用数据源扩展插件，可以达到自由切换的目标。

高可用性

通过在 Nacos 中配置多个数据源，可以实现数据源的负载均衡和故障转移。

Nacos 多数据源插件介绍

Nacos从2.2.0版本开始,可通过SPI机制注入多数据源实现插件,并在引入对应数据源实现后,便可在Nacos启动时通过读取application.properties配置文件中spring.datasource.platform配置项选择加载对应多数据源插件.本文档详细介绍一个多数据源插件如何实现以及如何使其生效。

注意: 目前多数据源插件处于Beta测试阶段,其API及接口方法定义可能会在后续版本升级而有较大修改，请注意您的插件适用版本。

原理简介

主要通过插件化来实现多数据源

在原来的Config模块中，所有的SQL操作的执行是通过直接使用JdbcTemplate执行固定SQL语句的形式，使得SQL语句与业务逻辑高度耦合，并且只支持Derby与MySQL两种数据源，原有Config模块架构如下。

现在的多数据源插件通过SPI机制，将SQL操作按照数据表进行抽象出多个Mapper接口，Mapper接口的实现类需要按照不同的数据源编写对应的SQL方言实现; 现在插件默认提供Derby以及MySQL的Mapper实现，可直接使用；而其他的数据源则需要用户使用数据源插件进行加载，其改造后架构图如下。

多数据源插件使用

多数据源插件的使用分为两个场景 第一个是插件仓库已经对数据源进行了实现 第二 需要自行实现 这里我们先讨论第一种场景
例如说我们nacos的数据库需要使用 达梦数据库

前置条件

对应的数据库的环境

下载编译插件仓库

git clone git@github.com:nacos-group/nacos-plugin.git
mvn -U clean intall -DskipTests=true

寻找对应的数据源插件并install到本地

第一个nacos数据源扩展插件的主module
第二个是 dm 数据源的扩展插件
将 dm 数据源的扩展插件 install到本地即可

install过程中如果遇到 oracle数据源 模块报错 直接在父 pom中注释掉即可

下载编译 nacos源码

git clone git@github.com:alibaba/nacos.git
mvn -U clean intall -DskipTests=true

源码改造

在nacos的nacos-datasource-plugin module中添加依赖

<dependency>
    <groupId>com.alibaba.nacos</groupId>
    <artifactId>nacos-dm-datasource-plugin-ext</artifactId>
    <version>1.0.0-SNAPSHOT</version>
</dependency>

配置修改

修改数据库连接 以及 数据库相关配置

在nacos-console module 的application.properties配置文件中，修改数据库配置：

spring.sql.init.platform=dm
### Count of DB:
db.num=1

### Connect URL of DB:
# db.url.0=jdbc:mysql://127.0.0.1:3306/nacos?characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=true&useUnicode=true&useSSL=false&serverTimezone=UTC
# db.user=nacos
# db.password=nacos

db.url.0=jdbc:dm://dm服务地址:5236/nacos?characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&serverTimezone=Asia/Shanghai
db.user.0=
db.password.0=xx
db.pool.config.driverClassName=dm.jdbc.driver.DmDriver

在 nacos-console module中 修改主启动类Nacos 增加启动为单体模式 方便我们本地调试

@SpringBootApplication
@ComponentScan(basePackages = "com.alibaba.nacos", excludeFilters = {
        @Filter(type = FilterType.CUSTOM, classes = {NacosTypeExcludeFilter.class}),
        @Filter(type = FilterType.CUSTOM, classes = {TypeExcludeFilter.class}),
        @Filter(type = FilterType.CUSTOM, classes = {AutoConfigurationExcludeFilter.class})})
@ServletComponentScan
public class Nacos {
    
    public static void main(String[] args) {
        //新增配置  启动为单体模式
        System.setProperty(Constants.STANDALONE_MODE_PROPERTY_NAME, "true");
        SpringApplication.run(Nacos.class, args);
    }
}

启动Nacos

启动Nacos服务，检查是否能够成功连接到达梦数据库，并正常工作。

测试验证

通过Nacos控制台进行服务注册、配置管理等操作，验证适配是否成功。

构建 使用

测试验证没问题后 即可打成jar 发到指定环境中了

mvn clean package -DskipTests=true
# nacos文件
cd distribution/target/nacos-server-{version}/

至此第一种场景已经改造完成了 接下来讨论第二种场景

自行扩展数据源插件

自行扩展数据源插件也不是很复杂，这里举例kingbase（人大金仓）的扩展

前置准备

准备对应的数据库环境 ，最好使用数据库自带的传输工具（例如kingbase dts ，dm的dem ），这样可以避免大多数问题 。

下载编译插件仓库（已下载 跳过）

git clone git@github.com:nacos-group/nacos-plugin.git
mvn -U clean intall -DskipTests=true

在数据源插件扩展module下创建对应的项目

例如 nacos-kingbase-datasource-plugin-ext 如果没有问题的话，将会创建nacos-kingbase-datasource-plugin-ext 并且parent为 nacos-datasource-plugin-ext

在项目module中引入对应的数据库驱动以及数据源插件基础依赖

<dependency>
   <groupId>cn.com.kingbase</groupId>
    <artifactId>kingbase8</artifactId>
    <version>8.6.0</version>
</dependency>
        
<dependency>
    <groupId>com.alibaba.nacos</groupId>
    <artifactId>nacos-datasource-plugin-ext-base</artifactId>
    <version>${revision}</version>
    <scope>compile</scope>
</dependency>

创建包 以及对应的项目结构 可从其他的数据源插件复制 （最好目录结构 命名规范与其他的项目一致）

新增或者修改数据库方言

在 com.alibaba.nacos.plugin.datasource.constants.DatabaseTypeConstant 类中新增数据库常量

public static final String KINGBASE = "kingbase";

/**
 * kingbase database dialect.
 *
 * @author leon
 * @date  2024-09-09 15:37:28
 */
public class KingbaseDatabaseDialect extends AbstractDatabaseDialect {

    @Override
    public String getType() {
        return DatabaseTypeConstant.KINGBASE;
    }
}

接下来实现每个表的 对应的数据库方言的 mapper

这里mapper改造由于人大金仓数据对mysql的支持较高，所以并不是很复杂 。 只用重写getDataSource方法即可 这里举两个例子

public class ConfigInfoAggrMapperByKingbase extends BaseConfigInfoAggrMapper {

    @Override
    public String getDataSource() {
        return DatabaseTypeConstant.KINGBASE;
    }
}

public class ConfigInfoBetaMapperByKingbase extends BaseConfigInfoBetaMapper {

    @Override
    public String getDataSource() {
        return DatabaseTypeConstant.KINGBASE;
    }

}

其他的也类似改造即可
另外需要说明的是，为了保证sql的兼容性最好可以每个sql都自行执行下

修改 DatabaseDialect SPI

修改 com.alibaba.nacos.plugin.datasource.dialect.DatabaseDialect
将内容修改为对应的数据库方言类

com.alibaba.nacos.plugin.datasource.dialect.KingbaseDatabaseDialect

修改 Mapper 的SPI

修改 com.alibaba.nacos.plugin.datasource.mapper.Mapper
将内容修改为对应的数据库方言Mapper类

com.alibaba.nacos.plugin.datasource.impl.kingbase.ConfigInfoAggrMapperByKingbase
com.alibaba.nacos.plugin.datasource.impl.kingbase.ConfigInfoBetaMapperByKingbase
com.alibaba.nacos.plugin.datasource.impl.kingbase.ConfigInfoMapperByKingbase
com.alibaba.nacos.plugin.datasource.impl.kingbase.ConfigInfoTagMapperByKingbase
com.alibaba.nacos.plugin.datasource.impl.kingbase.ConfigTagsRelationMapperByKingbase
com.alibaba.nacos.plugin.datasource.impl.kingbase.HistoryConfigInfoMapperByKingbase
com.alibaba.nacos.plugin.datasource.impl.kingbase.TenantInfoMapperByKingbase
com.alibaba.nacos.plugin.datasource.impl.kingbase.TenantCapacityMapperByKingbase
com.alibaba.nacos.plugin.datasource.impl.kingbase.GroupCapacityMapperByKingbase

准备数据脚本 放置到sql脚本上即可

将对应数据库环境的sql脚本导出 放置到sql脚本上即可

到此 自定义数据源插件结束 后续即可通过 如上 存在数据源插件的方案进行自行测试

---

good day！！！