基于Dapper打造高性能PostgreSQL异步访问封装(DapperHelper PostgerSQL 版)

基于Dapper打造高性能PostgreSQL异步访问封装(DapperHelper PostgerSQL 版)


一、前言

在高富贵性的环境中,我们常常需要处理大量数据,而Dapper作为一款轻量级ORM,充分发挥了性能上的优势。

然而,默认的Dapper没有考虑大量数据流式处理,很容易一次性拉入大量数据到内存,造成OOM。

本文将教你如何封装一个完全支持「异步」「流式」「多结果集」的 DapperHelper,让你充分采用PostgreSQL和Dapper的性能优势!


二、Dapper和PostgreSQL简介

  • Dapper:定位于极致性能的微型ORM,直接将SQL查询结果映射成实体。
  • PostgreSQL:一款免费、开源、强大的具有高实时性性能的关系型数据库,特别适合处理大量数据库操作。

三、DapperHelper设计思路

  • 异步打开连接 (OpenAsync)
  • 全部方法完全异步
  • 流式读取 (StreamQueryAsync)
  • 多结果集支持 (QueryMultipleAsync)

四、流式、多结果封装

public static async IAsyncEnumerable<T> StreamQueryAsync<T>(string sql, object? parameters = null)
{
   
    await using var connection = await CreateConnectionAsync();
    await using var reader = await connection.ExecuteReaderAsync(sql, parameters, commandType: CommandType.Text, commandBehavior: CommandBehavior.SequentialAccess | CommandBehavior.CloseConnection);

    var parser = reader.GetRowParser<T>();

    while (await reader.ReadAsync())
    {
   
        yield return parser(reader);
    }
}
public static async Task<TResult> QueryMultipleAsync<TResult>(string sql, object? parameters, Func<SqlMapper.GridReader, Task<TResult>> mapFunc)
{
   
    await using var connection = await CreateConnectionAsync();
    using var multi = await connection.QueryMultipleAsync(sql, parameters);
    return await mapFunc(multi);
}

这样的设计,可以保证日常工作中:

  • 处理大表查询不爆内存
  • 多次SQL处理简单、开放

五、性能比较

方式 内存占用 速度 适用场景
QueryAsync(默认) 小量数据(<10万条)
StreamQueryAsync 较快 大表,流水统计查询

六、DapperHelper完整代码

using System;
using System.Collections.Generic;
using System.Data;
using System.Threading.Tasks;
using Dapper;
using Npgsql;

namespace YourNamespace
{
   
    /// <summary>
    /// 提供对 PostgreSQL 数据库的 Dapper 异步访问封装,支持常规查询、事务操作、流式查询和多结果集查询。
    /// </summary>
    public static class DapperHelper
    {
   
        private static readonly string _connectionString = "Host=your_host;Port=5432;Database=your_database;Username=your_user;Password=your_password;Pooling=true;Maximum Pool Size=100;";

        /// <summary>
        /// 创建并打开一个异步 PostgreSQL 数据库连接。
        /// </summary>
        /// <returns>已打开的 NpgsqlConnection 实例</returns>
        private static async Task<NpgsqlConnection> CreateConnectionAsync()
        {
   
            var connection = new Np
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值