SourceGenerator 生成db to class代码优化结果记录 二

最新推荐文章于 2024-10-17 18:58:27 发布
最新推荐文章于 2024-10-17 18:58:27 发布
阅读量63 收藏
点赞数
文章标签： 数据库 windows sql

优化

在上一篇留下的 Dapper AOT 还有什么特别优化点的问题

在仔细阅读生成代码和源码之后，终于得到了答案

个人之前一直以为 Dapper AOT 只用了迭代器去实现，所以理应差不多实现代码却又极大差距，思维陷入了僵局，一度以为有什么黑魔法

结果 Dapper AOT 没有用迭代器去实现!!! 靠北啦，还以为迭代器有新姿势可以优化了

不再使用迭代器

List<BenchmarkTest.Dog> results = new();
try
{
    while (reader.Read())
    {
        results.Add(ReadOne(reader, readOnlyTokens));
    }
    return results;
}

当然就只能要求 用户必须使用 AsList 方法，因为 ToList 会导致复制list的问题， 导致负优化，

像这样

 connection.Query<Dog>("select * from dog").AsList();

// AsList 实现
public static List<T> AsList<T>(this IEnumerable<T>? source) => source switch
{
    null => null!,
    List<T> list => list,
    _ => Enumerable.ToList(source),
};

使用 span

再没有了迭代器方法限制， span 就可以放飞自我，随意使用了

public static BenchmarkTest.Dog ReadOne(this IDataReader reader, ref ReadOnlySpan<int> ss)
{
    var d = new BenchmarkTest.Dog();
    for (int j = 0; j < ss.Length; j++)
    {

使用 ArrayPool 减少内存占用 

public Span<int> GetTokens()
{
    FieldCount = Reader!.FieldCount;
    if (Tokens is null || Tokens.Length < FieldCount)
    {
        // no leased array, or existing lease is not big enough; rent a new array
        if (Tokens is not null) ArrayPool<int>.Shared.Return(Tokens);
        Tokens = ArrayPool<int>.Shared.Rent(FieldCount);
    }
    return MemoryMarshal.CreateSpan(ref MemoryMarshal.GetArrayDataReference(Tokens), FieldCount);
}

数据小时使用栈分配

 var s = reader.FieldCount <= 64 ? MemoryMarshal.CreateSpan(ref MemoryMarshal.GetReference(stackalloc int[reader.FieldCount]), reader.FieldCount) :  state.GetTokens();

提前生成部分 hashcode 进行比较

因为比较现在也并不耗时了， 所以 缓存也没有必要了， 也一并移除

public static void GenerateReadTokens(this IDataReader reader, Span<int> s)
{
    for (int i = 0; i < reader.FieldCount; i++)
    {
        var name = reader.GetName(i);
        var type = reader.GetFieldType(i);
        switch (EntitiesGenerator.NormalizedHash(name))
        {
            
            case 742476188U:
                s[i] = type == typeof(int) ? 1 : 2; 
                break;

            case 2369371622U:
                s[i] = type == typeof(string) ? 3 : 4; 
                break;

            case 1352703673U:
                s[i] = type == typeof(float) ? 5 : 6; 
                break;

            default:
                break;
        }
    }
}

性能测试说明

BenchmarkDotNet

这里特别说明一下

使用的 BenchmarkDotNet ，其本身已经考虑了 jit优化等等方面， 有预热，超多次执行，

结果值也是按照统计学有考虑结果集分布情况处理，移除变差大的值(比如少数的孤立的极大极小值)， 差异不大情况，一般显示平均值，有大差异时还会显示 中位值

感兴趣的童鞋可以去 https://github.com/dotnet/BenchmarkDotNet 了解

chole 有点棘手，为了方便mock，所以 copy了部分源码，只比较实体映射部分

测试数据

测试数据 正如之前说过， 采用 手动 mock 方式，避免 db 驱动 、db 执行、mock库 等等 带来的执行差异影响

class

非常简单的类，当然不能代表所有情况，不过简单测试够用了

public class Dog
{
    public int? Age { get; set; }
    public string Name { get; set; }
    public float? Weight { get; set; }
}

mock 数据

 public class TestDbConnection : DbConnection
 {
     public int RowCount { get; set; }

    public IDbCommand CreateCommand()
    {
        return new TestDbCommand() { RowCount = RowCount };
    }
}

public class TestDbCommand : DbCommand
{
    public int RowCount { get; set; }

    public IDataParameterCollection Parameters { get; } = new TestDataParameterCollection();

   public IDbDataParameter CreateParameter()
      {
         return new TestDataParameter();
      }

        protected override DbDataReader ExecuteDbDataReader(CommandBehavior behavior)
        {
            return new TestDbDataReader() { RowCount = RowCount };
        }
}

    public class TestDbDataReader : DbDataReader
    {
        public int RowCount { get; set; }
        private int calls = 0;
        public override object this[int ordinal] 
        {
            get
            {
                switch (ordinal)
                {
                    case 0:
                        return "XX";
                    case 1:
                        return 2;
                    case 2:
                        return 3.3f;
                    default:
                        return null;
                }
            }
        
        }
      public override int FieldCount => 3;

      public override Type GetFieldType(int ordinal)
      {
          switch (ordinal)
          {
              case 0:
                  return typeof(string);
              case 1:
                  return typeof(int);
              case 2:
                  return typeof(float);
              default:
                  return null;
          }
      }

      public override float GetFloat(int ordinal)
      {
          switch (ordinal)
          {
              case 2:
                  return 3.3f;
              default:
                  return 0;
          }
      }
        public override int GetInt32(int ordinal)
        {
            switch (ordinal)
            {
                case 1:
                    return 2;
                default:
                    return 0;
            }
        }
        public override string GetName(int ordinal)
        {
            switch (ordinal)
            {
                case 0:
                    return "Name";
                case 1:
                    return "Age";
                case 2:
                    return "Weight";
                default:
                    return null;
            }
        }
        public override string GetString(int ordinal)
        {
            switch (ordinal)
            {
                case 0:
                    return "XX";
                default:
                    return null;
            }
        }

        public override object GetValue(int ordinal)
        {
            switch (ordinal)
            {
                case 0:
                    return "XX";
                case 1:
                    return 2;
                case 2:
                    return 3.3f;
                default:
                    return null;
            }
        }

        public override bool Read()
        {
            calls++;
            return calls <= RowCount;
        }
}

Benchmark 代码

    [MemoryDiagnoser, Orderer(summaryOrderPolicy: SummaryOrderPolicy.FastestToSlowest), GroupBenchmarksBy(BenchmarkLogicalGroupRule.ByCategory), CategoriesColumn]
    public class ObjectMappingTest
    {
        [Params(1, 1000, 10000, 100000, 1000000)]
        public int RowCount { get; set; }

        [Benchmark(Baseline = true)]
        public void SetClass()
        {
            var connection = new TestDbConnection() { RowCount = RowCount };
            var dogs = new List<Dog>();
            try
            {
                connection.Open();
                var cmd = connection.CreateCommand();
                cmd.CommandText = "select ";
                using (var reader = cmd.ExecuteReader(CommandBehavior.Default))
                {
                    while (reader.Read())
                    {
                        var dog = new Dog();
                        dogs.Add(dog);
                        dog.Name = reader.GetString(0);
                        dog.Age = reader.GetInt32(1);
                        dog.Weight = reader.GetFloat(2);
                    }
                }
            }
            finally
            {
                connection.Close();
            }
        }

        [Benchmark]
        public void DapperAOT()
        {
            var connection = new TestDbConnection() { RowCount = RowCount };
            var dogs = connection.Query<Dog>("select * from dog").AsList();
        }

        [Benchmark]
        public void SourceGenerator()
        {
            var connection = new TestDbConnection() { RowCount = RowCount };
            List<Dog> dogs;
            try
            {
                connection.Open();
                var cmd = connection.CreateCommand();
                cmd.CommandText = "select ";
                using (var reader = cmd.ExecuteReader(CommandBehavior.Default))
                {
                    dogs = reader.ReadTo<Dog>().AsList();
                }
            }
            finally
            {
                connection.Close();
            }
        }

        [Benchmark]
        public void Chloe()
        {
            var connection = new TestDbConnection() { RowCount = RowCount };
            try
            {
                connection.Open();
                var cmd = connection.CreateCommand();
                var dogs = new InternalSqlQuery<Dog>(cmd, "select").AsList();
            }
            finally
            {
                connection.Close();
            }
        }
    }

完整代码可以参考 https://github.com/fs7744/SlowestEM

测试结果


BenchmarkDotNet v0.13.12, Windows 11 (10.0.22631.3880/23H2/2023Update/SunValley3)
13th Gen Intel Core i9-13900KF, 1 CPU, 32 logical and 24 physical cores
.NET SDK 9.0.100-preview.6.24328.19
  [Host]     : .NET 8.0.7 (8.0.724.31311), X64 RyuJIT AVX2
  DefaultJob : .NET 8.0.7 (8.0.724.31311), X64 RyuJIT AVX2
MethodRowCountMeanErrorStdDevRatioRatioSDGen0Gen1Gen2AllocatedAlloc Ratio
DapperAOT1294.1 ns5.79 ns7.73 ns0.630.020.02340.0229-440 B1.00
Dapper1321.7 ns6.40 ns5.99 ns0.700.020.04050.0401-768 B1.75
SourceGenerator1408.7 ns6.38 ns5.33 ns0.890.010.02340.0229-440 B1.00
SetClass1460.6 ns4.82 ns4.51 ns1.000.000.02340.0229-440 B1.00
Chloe1498.9 ns8.99 ns12.31 ns1.090.030.04530.0448-856 B1.95
SetClass10004,751.0 ns84.12 ns86.38 ns1.000.003.02121.2894-56912 B1.00
SourceGenerator100011,402.9 ns220.27 ns244.83 ns2.390.043.02121.2817-56912 B1.00
DapperAOT100011,421.3 ns121.00 ns113.18 ns2.410.053.02120.6409-56912 B1.00
Dapper100029,601.8 ns447.50 ns396.69 ns6.250.155.55421.0986-105192 B1.85
Chloe100066,872.0 ns150.27 ns133.21 ns14.120.272.92970.9766-57328 B1.01
SetClass10000106,271.3 ns2,111.19 ns3,468.75 ns1.000.0041.626041.626041.6260662782 B1.00
DapperAOT10000172,867.7 ns2,079.77 ns1,945.42 ns1.650.0541.503941.503941.5039662782 B1.00
SourceGenerator10000181,916.1 ns1,653.15 ns1,465.47 ns1.740.0541.503941.503941.5039662782 B1.00
Dapper10000705,883.0 ns8,517.90 ns7,550.89 ns6.740.1982.031381.054741.01561143062 B1.72
Chloe10000746,825.0 ns3,067.25 ns2,869.11 ns7.150.2141.015641.015641.0156663198 B1.00
SetClass1000001,191,303.2 ns20,831.95 ns19,486.22 ns1.000.00498.0469498.0469498.04696098016 B1.00
DapperAOT1000001,794,197.8 ns17,937.20 ns16,778.47 ns1.510.03498.0469498.0469498.04696098016 B1.00
SourceGenerator1000001,973,894.9 ns26,063.73 ns24,380.03 ns1.660.03496.0938496.0938496.09386098016 B1.00
Dapper1000004,357,237.9 ns85,065.76 ns83,545.95 ns3.660.09492.1875492.1875492.187510898296 B1.79
Chloe1000007,524,264.2 ns91,289.38 ns85,392.15 ns6.320.14492.1875492.1875492.18756098432 B1.00
SetClass100000049,990,270.7 ns987,172.66 ns1,829,787.82 ns1.000.003300.00003300.00001400.000056778489 B1.00
DapperAOT100000056,473,264.7 ns995,473.43 ns1,427,678.25 ns1.130.053555.55563555.55561777.777856779066 B1.00
SourceGenerator100000058,368,836.3 ns1,153,542.14 ns2,080,074.43 ns1.170.063555.55563555.55561777.777856779066 B1.00
Chloe1000000110,416,752.0 ns1,562,298.26 ns1,461,374.77 ns2.190.103400.00003400.00001600.000056781312 B1.00
Dapper1000000138,433,886.4 ns2,765,190.70 ns4,385,885.48 ns2.770.146250.00006250.00002000.0000104779052 B1.85

SourceGenerator 基本等同 DapperAOT 了， 除了没有使用 Interceptor， 以及各种情况细节没有考虑之外， 两者性能一样

SourceGenerator 肯定现在性能优化最佳方式，毕竟可以生成代码文件，上手难度其实比 emit 之类小多了

原创作者: fs7744 转载于: https://www.cnblogs.com/fs7744/p/18340422
聂瓦
关注
DB.class.php mysql 连接数据库代码
01-06
DB.class.php mysql 连接数据库代码DB.class.php mysql 连接数据库代码DB.class.php mysql 连接数据库代码
db2class C# 代码生成器
02-08
DB2Class（码到成功）代码生成器是一款为C#数据库程序员设计的在线自动代码生成器，其生成的代码基于面向对象的思想和MVC架构设计。主要实现在项目中数据库表的基类代码的自动生成，包括生成属性、添加、修改、删除...
DB自动生成代码-mybatis代码生成器
12-25
"DB自动生成代码--mybatis代码生成器"就是这样一个工具，它可以极大简化开发工作，减少手动编写重复代码的时间。 MyBatis的代码生成器（generator）是MyBatis框架的一部分，它的主要功能是根据数据库表的信息自动...
详解Java使用sqlite 数据库如何生成db文件
08-30
下面是生成 DB 文件的示例代码： 首先，需要导入相关依赖项： ```java import java.sql.Connection; import java.sql.PreparedStatement; import java.sql.ResultSet; import javax.sql.DataSource; import org....
动软代码生成 添加 Model注释列及文档字段说明
10-31
在IT行业中，代码生成是一种常见的自动化工具，它能够帮助开发者快速构建应用的基础结构，节省大量手动编写代码的时间。"动软代码生成"是一款这样的工具，它专注于提高开发效率，通过预定义的模板自动生成诸如Model...
MySQL数据库的详细学习步骤
2401_87352036的博客
10-11 1250
MySQL数据库的详细学习步骤可以归纳为以下几个阶段，每个阶段都包含了特定的学习内容和目标。
plsql查询Oracle数据库发现有的数据是乱码
qq_29270805的博客
10-17 257
客户端发送数据：数据 “一二三四五六” 以AL32UTF8字符集编码，即。数据传输：数据通过网络传输到数据库服务器。数据接收与转换：数据库接收到数据后，将其从AL32UTF8转换为ZHS16GBK，即。存储数据：转换后的数据以ZHS16GBK字符集存储在数据库中。
docker-harbor
qq_54598007的博客
10-17 437
（1）基于角色控制：用户和仓库都是基于项目进行组织的，而用户在项目中可以拥有不同的权限。（2）基于镜像的复制策略：镜像可以在多个Harbor实例之间进行复制（同步）。（3）支持 LDAP/AD：Harbor 可以集成企业内部已有的 AD/LDAP（类似数据库的一张表），用于对已经存在的用户认证和管理。（4）镜像删除和垃圾回收：镜像可以被删除，也可以回收镜像占用的空间。（5）图形化用户界面：用户可以通过浏览器来浏览，搜索镜像仓库以及对项目进行管理。
基于SSM班级事务管理系统的设计
2401_87849773的博客
10-15 350
管理员账户功能包括：系统首页，个人中心，学生管理，班委管理，班会组织管理，健康档案管理，党员发展管理，党员培训管理，学生成绩管理。主要技术：Java,Spring,mybatis,mysql,jquery,html。班委账号功能包括：系统首页，学生管理，学生成绩管理，活动信息管理，班费通知管理。服务器：SpringBoot自带 apache tomcat。JDK版本：Java JDK1.8。数据库可视化工具： navicat。数据库版本： mysql5.7。开发系统：Windows。
如何使用ssm实现宠物论坛设计网站
寒夜
10-12 983
【代码】ssm宠物论坛设计网站
MySQL查询优化：提升数据库性能
最新发布
apple_64847327的博客
10-17 536
MySQL查询优化是一个涉及多个层面的复杂过程，需要我们从索引设计、查询语句编写、数据类型选择、服务器配置等多个角度进行综合考虑。通过不断学习和实践，我们可以逐渐掌握这门艺术，从而提升我们的数据库性能，为用户提供更快更好的服务。优化是一个持续的过程，随着数据量的增长和查询模式的变化，我们需要不断地回顾和调整我们的优化策略。
mysql锁之乐观锁、悲观锁、表锁、行锁、共享锁、排他锁
qq_68883928的博客
10-14 620
锁是计算机协调多个进程或线程并发访问某一个资源的机制，在数据库中，除传统的计算资源（CPU、RAM、I/O）的争用以外，数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所在有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度来说，锁对数据库而言显得尤其重要，也更加复杂。
nacos修改为单机启动模式和数据库连接
shenxiaomo1688的博客
10-12 289
nacos默认为集群方式启动，如果想修改为单机启动，可以修改nacos的bin目录下的startup.cmd，linux环境为startup.sh,将export MODE="cluster"修改为export MODE="standalone"。1.nacos的conf目录下有一个nacos-mysql.sql文件，在mysql数据库中新建nacos数据库，然后在nacos数据库执行nacos-mysql.sql脚本，将数据导入到mysql;
PostgreSQL学习笔记十：锁机制详解
软件行业技术文化交流。
10-11 1293
它通过不同级别的锁来控制对数据对象的并发访问，主要包括表级锁、行级锁、页级锁、咨询锁（Advisory Locks）以及死锁（Deadlocks）。咨询锁可以用于实现更细粒度的锁控制，例如，在不同的事务之间同步对特定资源的访问。咨询锁可以是会话级别的或事务级别的，允许用户在不同的进程或事务之间进行协调。：设计事务时，应尽量减少锁的持有时间，并避免长时间运行的事务，因为这会增加死锁的风险。这些锁可以是行级的、事务级的，或者是咨询锁（advisory locks），它们用于控制对表或行的并发访问。
大模型时代，云原生数据底座的创新和实践
2301_82040283的博客
10-14 916
缓存数据库核心挑战还是在性能、成本、高可用方面，在过去一年里面，我们核心优化了这些方面，性能上支持批量加载，高用上支持异地多活的能力，成本上支持冷热分离，通过把相对较冷的数据自动迁移到 SSD 上显著降低成本。百度智能云提供一站式云原生数据底座，覆盖完整的数据库的关系型、NoSQL、工具、大数据的开发工具，离线计算，在线中间等全套产品和服务。doris 是百度开源出去的数据仓库。百度智能云的云原生数据底座也在持续演进，给客户提供更快、更强、更智能、更易用的能力，使能大模型业务，满足百行千业客户的诉求。
基于SpringBoot的冬奥会科普平台
weixin_53180424的博客
10-16 209
系统展示 【2024最新】基于Java+SpringBoot+Vue+MySQL的，前后端分离。
数据库-01MYSQL-001MySQL知识点查漏补缺
10-12 276
mysql数据库知识点锦集
Mac 电脑安装redis
weixin_43012300的博客
10-11 463
Mac 电脑安装 redis 服务
小新学习Docker之Docker--harbor私有仓库部署与管理
pangdongqiqi的博客
10-16 804
Harbor 是 VMware 公司开源的企业级 Docker Registry 项目，其目标是帮助用户迅速搭建一个企业级的 Docker Registry 服务。Harbor以 Docker 公司开源的 Registry 为基础，提供了图形管理 UI 、基于角色的访问控制(Role Based AccessControl) 、AD/LDAP 集成、以及审计日志(Auditlogging) 等企业用户需求的功能，同时还原生支持中文。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值