.NET Core用数据库做配置中心加载Configuration

最新推荐文章于 2024-09-13 07:36:32 发布
最新推荐文章于 2024-09-13 07:36:32 发布
阅读量1k 收藏 2
点赞数 1
文章标签： 数据库 python java spring vue
原文链接：https://github.com/yangzhongke/Zack.AnyDBConfigProvider
版权

本文介绍了一个在.NET中用数据库做配置中心服务器的方式，介绍了读取配置的开源自定义ConfigurationProvider，并且讲解了主要实现原理。

1、 为什么用数据库做配置中心

在开发youzack.com这个学英语网站的时候，需要保存第三方接口AppKey、JWT等配置信息。youzack是一个由登录注册、听力精听、背单词、背单词第二版等4个子网站组成，为了保证网站的可用性，网站采用集群式部署，同一个子网站部署2台Web服务器实例，因此整个系统部署了2*4=8个Web服务实例。配置信息如果都保存到本地配置文件的话，管理特别麻烦，比如，如果一个配置项要修改的话，就要修改8个地方，因此需要保存到一个配置中心服务器上，各个应用都从配置中心服务器读取配置。

目前，有Apollo、Nacos、Spring Cloud Config等开源的配置中心可供使用，功能非常强大，不过需要单独部署维护配置中心服务器。我这个网站并不复杂，为了避免运维的麻烦，我要尽量减少网站中使用的服务的数量。

youzack所在的阿里云也有对应的配置中心服务可以用，不用自己去部署维护，但是我不想让网站依赖于特定云服务商，而且那样的话在本地开发环境也要特殊处理。

因为这些子网站都要连接数据库，因此把配置信息存到数据库里，用数据库来做配置中心服务器，最符合我的要求。

2、 项目优点

由于网站采用.NET 5开发，为了方便各个项目读取配置，我开发了一个自定义的ConfigurationProvider，名字叫做Zack.AnyDBConfigProvider。

这个Zack.AnyDBConfigProvider的优点如下：

  1. 配置保存到数据库表中，管理简单；

  2. 支持几乎所有关系数据库，只要.NET能连上的数据库都支持；

  3. 支持配置的版本化管理；

  4. 支持符合.NET配置命名规则的多级配置的覆盖；

  5. 配置项的值类型支持丰富，既支持简单的字符串、数字等类型，也支持json等格式；

  6. 采用.Net Standard2开发，因此可以支持.NET Framework、.NET Core等。

 

项目GitHub地址：

https://github.com/yangzhongke/Zack.AnyDBConfigProvider

3、  Zack.AnyDBConfigProvider用法

第一步：

在数据库中建一张表，默认名字是T_Configs，这个表名允许自定义为其他名字，具体见后续步骤。表必须有Id、Name、Value三个列，Id定义为整数、自动增长列，Name和Value都定义为字符串类型列，列的最大长度根据系统配置数据的长度来自行确定，Name列为配置项的名字，Value列为配置项的值。

允许具有相同Name的多行数据，其中Id值最大的一条的值生效，这样就实现了简单的配置版本管理。因此，如果不确认一个新的配置项一定成功的话，可以先新增一条同名的配置，如果出现问题，只要把这条数据删除就可以回滚到旧的配置项。

Name列的值遵循.NET中配置的“多层级数据的扁平化”（详见微软文档https://docs.microsoft.com/en-us/aspnet/core/fundamentals/configuration/?view=aspnetcore-5.0），如下都是合法的Name列的值：

Api:Jwt:Audience

Age

Api:Names:0

Api:Names:1

 

Value列的值用来保存Name类对应的配置的值。Value的值可以是普通的值，也可以使用json数组，也可以是json对象。比如下面都是合法的Value值：

["a","d"]

{"Secret": "afd3","Issuer":"youzack","Ids":[3,5,8]}

ffff

3

下面这个数据就是后续演示使用的数据：

第二步：

创建一个ASP.NET 项目，演示案例是使用VisualStudio 2019创建.NET Core 3.1的ASP.NETCore MVC项目，但是Zack.AnyDBConfigProvider的应用范围并不局限于这个版本。

通过NuGet安装开发包：

Install-Package Zack.AnyDBConfigProvider

 

第三步：配置数据库的连接字符串

虽然说项目中其他配置都可以放到数据库中了，但是数据库本身的连接字符串仍然需要单独配置。它既可以配置到本地配置文件中，也可以通过环境变量等方式配置，下面用配置到本地json文件来举例。

打开项目的appsettings.json，增加如下节点：

  "ConnectionStrings": {

    "conn1":"Server=127.0.0.1;database=youzack;uid=root;pwd=123456"

 },

接下来在Program.cs里的CreateHostBuilder方法的webBuilder.UseStartup<Startup>();之前增加如下代码：

webBuilder.ConfigureAppConfiguration((hostCtx, configBuilder)=>{

       var configRoot =configBuilder.Build();

       string connStr = configRoot.GetConnectionString("conn1");

       configBuilder.AddDbConfiguration(()=> newMySqlConnection(connStr),reloadOnChange:true,reloadInterval:TimeSpan.FromSeconds(2));

});

       上面代码的第3行用来从本地配置中读取到数据库的连接字符串，然后第4行代码使用AddDbConfiguration来添加Zack.AnyDBConfigProvider的支持。我这里是使用MySql数据库，所以使用new MySqlConnection(connStr)创建到MySQL数据库的连接，你可以换任何你想使用的其他数据库管理系统。reloadOnChange参数表示是否在数据库中的配置修改后自动加载，默认值是false。如果把reloadOnChange设置为true，则每隔reloadInterval这个指定的时间段，程序就会扫描一遍数据库中配置表的数据，如果数据库中的配置数据有变化，就会重新加载配置数据。AddDbConfiguration方法还支持一个tableName参数，用来自定义配置表的名字，默认名称为T_Configs。

       不同版本的开发工具生成的项目模板不一样，所以初始代码也不一样，所以上面的代码也许并不能原封不动的放到你的项目中，请根据自己项目的情况来定制化配置的代码。

 

第四步：

剩下的就是标准的.NET 中读取配置的方法了，比如我们要读取上面例子中的数据，那么就如下配置。

首先创建Ftp类（有IP、UserName、Password三个属性）、Cors类（有string[]类型的Origins、Headers两个属性）。

然后在Startup.cs的ConfigureServices方法中增加如下代码：

services.Configure<Ftp>(Configuration.GetSection("Ftp"));

services.Configure<Cors>(Configuration.GetSection("Cors"));

然后在Controller中读取配置：

public class HomeController : Controller

{

       private readonlyILogger<HomeController> _logger;

       private readonlyIConfiguration config;

       private readonlyIOptionsSnapshot<Ftp> ftpOpt;

       private readonlyIOptionsSnapshot<Cors> corsOpt;

 

       publicHomeController(ILogger<HomeController> logger, IConfiguration config,IOptionsSnapshot<Ftp> ftpOpt, IOptionsSnapshot<Cors> corsOpt)

       {

              _logger = logger;

              this.config =config;

              this.ftpOpt =ftpOpt;

              this.corsOpt =corsOpt;

       }

 

       public IActionResultIndex()

       {

              string redisCS = config.GetSection("RedisConnStr").Get<string>();

              ViewBag.s =redisCS;

              ViewBag.ftp =ftpOpt.Value;

              ViewBag.cors =corsOpt.Value;

              return View();

       }

}

关于把读取出来的配置如何使用就不再介绍了。我这里只是把配置显示到界面上。你可以把配置修改后，再刷新界面，就可以看到修改后的配置。

 

4、 源码原理讲解

项目github地址:

https://github.com/yangzhongke/Zack.AnyDBConfigProvider，最核心的类是DBConfigurationProvider。

.NET中自定义配置提供者都要实现IConfigurationProvider接口，一般都直接继承自ConfigurationProvider这个抽象类。ConfigurationProvider中最重要的方法就是Load()，自定义配置提供者都要实现Load方法来加载数据，加载的数据按照键值对的形式保存到Data属性中。Data属性是IDictionary<string,string>类型，Key为配置的名字，遵循.NET的“多层级数据的扁平化”规范。如果配置项发生了改变则调用OnReload()方法来通知监听配置改变的代码。

上面介绍了ConfigurationProvider类的基本工作机制，我们下面再分析一下Zack.AnyDBConfigProvider中的DBConfigurationProvider类的主要代码的原理。

首先是DBConfigurationProvider类的构造函数：

ThreadPool.QueueUserWorkItem(obj => {

       while (!isDisposed)

       {

              Load();

              Thread.Sleep(interval);

       }

});

       可以看到，如果启用了ReloadOnChange，那么每隔指定的时间，就会调用Load重新加载数据。

       下面是Load方法的主要代码：

public override void Load()

{

       base.Load();

       var clonedData =Data.Clone();

       string tableName =options.TableName;

       try

       {

              lockObj.EnterWriteLock();

              Data.Clear();               

              using (var conn =options.CreateDbConnection())

              {

                     conn.Open();

                     DoLoad(tableName,conn);

              }

       }

       catch(DbException)

       {

              //if DbExceptionis thrown, restore to the original data.

              this.Data =clonedData;

              throw;

       }

       finally

       {

              lockObj.ExitWriteLock();

       }

       //OnReload cannot bebetween EnterWriteLock and ExitWriteLock, or "A read lock may not beacquired with the write lock held in this mode" will be thrown.

       if(Helper.IsChanged(clonedData, Data))

       {

              OnReload();

       }

}

       Load方法的主要思路就是：首先创建Data属性的一个拷贝clonedData，用于稍后比较“数据是否修改了”。因为如果启用了ReloadOnChange，那么Load是在一个线程中被定期调用的，而读取配置的代码最终会调用TryGet方法来读取配置，为了避免TryGet读到Load加载一半的数据造成数据混乱，因此需要使用锁来控制读写的同步。因为通常读的频率高于写的频率，为了避免用普通的锁造成的性能问题，这里使用ReaderWriterLockSlim类来实现“只允许一个线程写入，但是允许多个线程读”。把加载配置写入Data属性的代码放到EnterWriteLock()、ExitWriteLock()之间，而把读取配置的代码（见TryGet方法），用EnterReadLock()和ExitReadLock()包裹起来即可。

       需要注意，在Load方法中，一定要注意把OnReload()放到ExitWriteLock()之后，否则会导致运行时报“A read lock maynot be acquired with the write lock held in this mode”异常。因为OnReload方法会导致程序调用TryGet读取数据，而TryGet中用了“读锁”，这样就造成了“写锁”中嵌套“读锁”这个默认不允许的行为。

       在DoLoad方法中，会从数据库中读取数据加载到Data中。在Load方法的最后，就会把之前保存的Data属性的拷贝值clonedData和加载之后的新的Data属性值比较一下，如果发现数据有变化，就调用OnReload()通知“数据变化了，来加载新数据吧”。

       DoLoad方法中就是加载配置的值到Data属性了，虽然代码比较多，但是逻辑并不复杂，主要就是根据“多层级数据的扁平化”规范来解析和加载数据。因为我之前对于这个规范没有吃透，导致走了一些弯路。这块也是我的这个开源项目的一个亮点，因为如果只是按照“多层级数据的扁平化”规范来保存配置的话，数据库中的name就必须“Ftp:IP”、“Ftp:UserName”、“Cors:Origins:0”、“Cors:Origins:1”、“Cors:Origins:2”这样的方式写，但是经过我的处理，配置的值就可以用可读性非常强的json格式了（当然仍然兼容严格的“多层级数据的扁平化”规范）。

 

5、 结论

Zack.AnyDBConfigProvider是一个可以用数据库做配置中心服务器的开源库，让你可以在不增加额外的配置中心服务器的情况下，让项目具备简单的版本管理的配置中心，而且以一种可读性很强的格式来进行配置。希望这个开源项目能够帮助大家，欢迎使用过程中反馈问题，如果感觉好用，欢迎推荐给其他朋友。

.NET Core 下使用 Apollo 配置中心
java专栏
08-24 1076
好了，以上就是使用 .NET Core 集成 Apollo 的基础啦！跟着上面的步骤一步步来，相信你也能轻松掌握！如果你还有其他疑问，或者遇到了什么难题，不妨在评论区留言，我们一起探讨哦！🎈。
.net core 配置MySql数据库
baka道的博客
03-14 2804
在Nuget中安装Polemo:反向生成:https://github.com/PomeloFoundation/Pomelo.EntityFrameworkCore.MySql在csproj中添加引用. &lt;ItemGroup&gt; &lt;PackageReference Include="Microsoft.EntityFrameworkCore.Tools" Version...
asp.netcore 深入了解配置文件加载过程
ahilll的博客
11-16 424
前言     配置文件中程序运行中，担当着不可或缺的角色；通常情况下，使用 visual studio 进行创建项目过程中，项目配置文件会自动生成在项目根目录下，如 appsettings.json，或者是被大家广泛使用的 appsettings.{env.EnvironmentName}.json；配置文件 作为一个入口，可以让我们在不更新代码的情况，对程序进行干预和调整，那么对其加载过程的全面...
Zack.AnyDBConfigProvider 使用教程
最新发布
gitblog_00336的博客
09-13 564
Zack.AnyDBConfigProvider 使用教程 Zack.AnyDBConfigProvider 项目地址: https://gitcode.com/gh_mirrors/za/Zack.AnyDBConfigPro...
mysql 作为配置中心_nacos作为配置中心
weixin_30725317的博客
02-27 351
分布式配置中心在微服务架构中，为什么需要一个统一的配置中心呢？如果用一句话来说那就是方便管理，降低出错的可能。比如：你开发环境是一套配置，测试环境是一套，生产环境又是一套。你如果手动去修改，难免会出错吧。Nacos阿里开源的产品，可以作为配置中心，也可以代替Zookeeper作为服务注册中心。正题为了方便，我在本地建立三个不同的数据库，分别代表开发环境、测试环境、生产环境的数据库。--新建一个Sp...
配置中心
小白的成长之路
04-18 1677
配置中心 通过以下几个问题理解微服务中的集中配置中心: 微服务配置中心是什么？ 为什么需要微服务配置中心？ 微服务配置中心实现技术？ 技术如何选型？ 微服务配置中心是什么： 集中式配置是将应用系统中对配置信息的管理作为一个新的应用功能模块，区别与传统的配置信息分散到系统各个角落方式，进行集中统一管理，并且提供额外功能。尤其是在微服务架构中，是不可或缺组件，甚至是必要组件之一。 为什么需要微服务配置中心： 在微服务体系中，服务的数量以及配置信息的日益增多，比如各种服务器参数配置、各种数据库访问参数配置、各
.NET CORE 数据库的配置以及使用
菜鸟小灰灰的博客
03-30 2274
(2) 还可以使
【ASP.NET编程知识】.Net Core3.0 配置Configuration的实现.docx
05-15
在ASP.NET Core 3.0中，配置管理（Configuration）是一个关键部分，它允许开发者方便地存储和管理应用的配置信息。与之前的.NET框架不同，.NET Core 3.0引入了更灵活、多源的配置系统，可以处理各种类型的配置源，...
Asp.net Core与类库读取配置文件信息的方法
10-17
在Asp.net Core框架中，配置文件的读取是一个至关重要的功能，它允许开发者存储和管理应用程序的配置信息，如数据库连接字符串、API密钥等。本文将详细讲解如何在Asp.net Core中读取配置文件，特别是JSON格式的配置...
详解asp.net core重新加载应用配置
10-17
在ASP.NET Core中，配置管理是应用程序开发中的关键部分，它允许动态更新和重新加载配置，以便在运行时适应变化的需求。本文将深入探讨如何在ASP.NET Core中实现应用配置的重新加载。 首先，配置系统在ASP.NET Core...
.NET 5 自定义配置(动态配置,配置中心) 案例版
蓝创精英团队
06-10 1187
有些功能可能自己用着简单，不需要那么复杂。想着简单粗暴的解决问题，可控的实现代码控制，就可以用这样的方式实现。另外，如果对配置中心的原理，以及对.NET 底层的配置深入理解，就得动手实现一下，才能更深入的了解此功能，对吧。统一按照依赖注入的方法获取对象 构造注入 以下对象 IConfiguration configuration注： 否则可以自己构造对象 配置如何动态更改还能被读到呢 假设配置如下: 读取相应的值(大致有以下几个用法) 配置节结构 首先不论你是啥文件方式，INI,JSON,YAML,XML
.net core mysql 配置_.Net Core3.1 配置Pomelo.EntityFrameworkCore.MySql数据操作(2)
weixin_39600447的博客
01-26 231
引入Pomelo.EntityFrameworkCore.MySql程序包ConfigureServices// other service configurations go here// replace "YourDbContext" with the class name of your DbContextservices.AddDbContextPool(options => opt...
.Net core下的配置设置（一）——Configuration
weixin_30276935的博客
03-23 430
ASP.NET Core 中提供了一个Configuration包，用以应用配置基于配置提供程序建立的键值对。这里以json文件配置的方式，简单的介绍一下它的用法。 首先定义一个配置文件appsettings.json： {"key1":"value1","key2":-1,"subsection":{"key1":"valu...
.NET Core 配置Configuration杂谈
极客神殿
12-01 1056
前言 .NET Core 在配置文件的操作上相对于.NET Framework做了不少改变，今天来聊一聊。关于Configuration的Package都是以Microsoft.Extensions.Configuration开头的支持多种方式的配置，包括内存、Json文件、XML文件等等，今天我们主要用Json格式文件配置来演示。 开始 新建一个ConsoleApp（这里为了方便演示就用控制台程序来演示了，而不用ASP.NET Core），添加两个Package： Install-Package Micr
.net core 5 入门（四）配置文件篇
a632374118的博客
03-18 552
.net core 5 入门配置文件篇1.增加配置文件解析类2.appsettings.json3.调用 配置文件篇 1.增加配置文件解析类 public class AppSetting { private static readonly object objLock = new object(); private static AppSetting instance = null; private IConfigurationRoot Con
.NET Core配置文件加载与DI注入配置数据
a963508700的博客
11-18 486
.NET Core配置文件 在以前.NET中配置文件都是以App.config / Web.config等XML格式的配置文件，而.NET Core中建议使用以JSON为格式的配置文件，因为使用起来更加方面灵活，而且可以使用.NET Core中的DI注入配置数据。 使用： 1 var config = new ConfigurationBuilder()...
.NET 5完全自配置服务
寒冰屋的专栏
01-22 341
在ASP.Core应用程序（不限于ASP.Core）中，当我们想使用DI容器中的构建时，我们需要创建服务，然后在Startup.cs的ConfigureServices方法中注册它们。我想简化它并在完全自注册服务中采用旧的M.E.F方法。 方法很简单： 使用[Service]或[SingeltonService]特性注释您的服务 调用ServiceLocator.LoadServices 获益？
ASP.NET Core 配置中心
安梓晨的博客
06-03 1104
前言 正如大家所知，在 .NET Core 中配置文件改成了 appsettings.json，表面上和 .NET Framework 的 web.config 或 app.config 好像没有太大的区别，只是一种是 json ，一种是 xml，但其实 .NET Core 的配置体系是一种全新的设计，灵活且具扩展性。这里主要介绍一下在 .NET Core 的配置体系下如何扩展自定义配置源，配置源其实就是配置信息存放的载体，最常用的就是文件类型。 .NET Core 配置体系 在进行自定义配置源介绍前，我们
.net core怎样用配置来实现链接数据库并且搭配ado.net来实现
05-26
在 .NET Core 中，可以使用配置文件来存储数据库连接字符串，然后使用 ADO.NET 来实现连接数据库。 首先，需要在项目中添加 Microsoft.Extensions.Configuration 和 Microsoft.Extensions.Configuration.Json 包。 然后，在 appsettings.json 文件中添加以下内容： ``` { "ConnectionStrings": { "DefaultConnection": "Server=localhost;Database=mydatabase;User Id=myuser;Password=mypassword;" } } ``` 这里我们定义了一个名为 DefaultConnection 的连接字符串，它连接到本地的 mydatabase 数据库，并使用 myuser 和 mypassword 进行身份验证。 接下来，在 Startup.cs 文件中，可以使用以下代码将配置文件加载到应用程序中： ``` public Startup(IConfiguration configuration) { Configuration = configuration; } public IConfiguration Configuration { get; } public void ConfigureServices(IServiceCollection services) { services.AddControllers(); string connectionString = Configuration.GetConnectionString("DefaultConnection"); services.AddTransient<IDbConnection>((sp) => new SqlConnection(connectionString)); } ``` 在这里，我们将配置文件中的 DefaultConnection 连接字符串加载到 services 中，并使用 IDbConnection 接口将其注入到服务容器中。 现在，可以在需要使用数据库连接的地方注入 IDbConnection 接口，并使用 ADO.NET 连接到数据库，例如： ``` public class MyController : Controller { private readonly IDbConnection _dbConnection; public MyController(IDbConnection dbConnection) { _dbConnection = dbConnection; } public IActionResult Index() { var query = "SELECT * FROM MyTable"; var command = new SqlCommand(query, (SqlConnection)_dbConnection); var reader = command.ExecuteReader(); // Do something with the data return View(); } } ``` 在这里，我们注入了 IDbConnection 接口，并创建了一个查询，使用 ADO.NET 执行查询，并处理查询结果。 以上就是使用配置文件和 ADO.NET 在 .NET Core 中连接到数据库的示例。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值