基于Dapper打造高性能PostgreSQL异步访问封装(DapperHelper PostgerSQL 版)
一、前言
在高富贵性的环境中,我们常常需要处理大量数据,而Dapper作为一款轻量级ORM,充分发挥了性能上的优势。
然而,默认的Dapper没有考虑大量数据流式处理,很容易一次性拉入大量数据到内存,造成OOM。
本文将教你如何封装一个完全支持「异步」「流式」「多结果集」的 DapperHelper,让你充分采用PostgreSQL和Dapper的性能优势!
二、Dapper和PostgreSQL简介
- Dapper:定位于极致性能的微型ORM,直接将SQL查询结果映射成实体。
- PostgreSQL:一款免费、开源、强大的具有高实时性性能的关系型数据库,特别适合处理大量数据库操作。
三、DapperHelper设计思路
- 异步打开连接 (OpenAsync)
- 全部方法完全异步
- 流式读取 (StreamQueryAsync)
- 多结果集支持 (QueryMultipleAsync)
四、流式、多结果封装
public static async IAsyncEnumerable<T> StreamQueryAsync<T>(string sql, object? parameters = null)
{
await using var connection = await CreateConnectionAsync();
await using var reader = await connection.ExecuteReaderAsync(sql, parameters, commandType: CommandType.Text, commandBehavior: CommandBehavior.SequentialAccess | CommandBehavior.CloseConnection);
var parser = reader.GetRowParser<T>();
while (await reader.ReadAsync())
{
yield return parser(reader);
}
}
public static async Task<TResult> QueryMultipleAsync<TResult>(string sql, object? parameters, Func<SqlMapper.GridReader, Task<TResult>> mapFunc)
{
await using var connection = await CreateConnectionAsync();
using var multi = await connection.QueryMultipleAsync(sql, parameters);
return await mapFunc(multi);
}
这样的设计,可以保证日常工作中:
- 处理大表查询不爆内存
- 多次SQL处理简单、开放
五、性能比较
方式 | 内存占用 | 速度 | 适用场景 |
---|---|---|---|
QueryAsync(默认) | 高 | 快 | 小量数据(<10万条) |
StreamQueryAsync | 低 | 较快 | 大表,流水统计查询 |
六、DapperHelper完整代码
using System;
using System.Collections.Generic;
using System.Data;
using System.Threading.Tasks;
using Dapper;
using Npgsql;
namespace YourNamespace
{
/// <summary>
/// 提供对 PostgreSQL 数据库的 Dapper 异步访问封装,支持常规查询、事务操作、流式查询和多结果集查询。
/// </summary>
public static class DapperHelper
{
private static readonly string _connectionString = "Host=your_host;Port=5432;Database=your_database;Username=your_user;Password=your_password;Pooling=true;Maximum Pool Size=100;";
/// <summary>
/// 创建并打开一个异步 PostgreSQL 数据库连接。
/// </summary>
/// <returns>已打开的 NpgsqlConnection 实例</returns>
private static async Task<NpgsqlConnection> CreateConnectionAsync()
{
var connection = new Np