Sep：一个低内存、高性能的CSV文件读写操作.Net开源库

最新推荐文章于 2024-09-26 07:56:36 发布

编程乐趣

最新推荐文章于 2024-09-26 07:56:36 发布

阅读量971

点赞数 8

分类专栏： .NetCore开源项目100例文章标签： .net

本文链接：https://blog.csdn.net/daremeself/article/details/142359265

版权

.NetCore开源项目100例专栏收录该内容

364 篇文章

订阅专栏

推荐一个号称最高性能的CSV文件读写操作库，支持AOT/NativeAOT。

01 项目简介

Sep 是一个高性能的 .NET CSV 解析器，具备快速、现代、简洁且高效的数据处理能力。

**先进特性：**采用 .NET 7+ 和 C# 11+ 的先进特性，例如 Span、泛型数学接口（ISpanParsable/ISpanFormattable）、ref struct、ArrayPool 等，打造了一个现代且高效的实现方式。

**简洁API：**提供了一个简洁而富有表现力的 API，选项精简，对输入输出的处理透明无隐藏。你看到什么就得到什么。例如，它默认不会自动处理引号的转义/取消转义。

**极速性能：**通过架构特定和跨平台的 SIMD 矢量化解析技术，支持 64/128/256/512 位路径（如 AVX2、AVX-512（.NET 8.0+）、NEON），实现极速处理。利用 csFastFloat 快速解析浮点数。高效地逐行读取或写入数据，并有详尽的基准测试验证其性能。

**多线程加速：**通过高效的并行 CSV 解析技术，实现超快速度，比 CsvHelper 快达 35 倍。

**低内存占用：**智能高效的内存管理策略，在预热后实现零内存分配，包括轻松读取或写入值数组（如特征数据）而无需重复分配内存。

**全面测试保障：**拥有广泛的代码覆盖率，专注于边缘情况的测试，包括随机模糊测试，确保数据处理的准确性和稳定性。

**跨平台兼容：**支持 .NET 支持的所有平台和架构，100% 托管，采用现代 C# 编写，代码优美。

**可修剪且兼容 AOT/NativeAOT：**无反射或动态代码生成，确保完全可修剪且与提前编译（Ahead-of-Time）兼容。简单的控制台测试程序，可执行文件体积小，仅几 MB。

**实用主义：**遵循 RFC-4180 的核心原则，但在引用和行结束处理上采取实用主义方法。

02 使用方法

简单示例代码****

using nietras.SeparatedValues;

// 指定CSV文件的路径
string filePath = "file.csv";

// 使用Sep库创建一个CSV读取器，从文件中读取数据
using var reader = Sep.Reader().FromFile(filePath);

// 遍历CSV文件中的每一行
foreach (var readRow in reader)
{
    // 假设我们知道CSV文件的列结构，可以直接通过列名访问数据
    string columnA = readRow["A"].ToString();
    string columnB = readRow["B"].ToString();
    int columnC = readRow["C"].Parse<int>();
    double columnD = readRow["D"].Parse<double>();

    // 处理每一行的数据
    Console.WriteLine($"A: {columnA}, B: {columnB}, C: {columnC}, D: {columnD}");
}

格式化示例代码

using nietras.SeparatedValues;

// 定义一个多行字符串，表示一个CSV格式的数据。
var text = """
           A;B;C;D;E;F
           Sep;🚀;1;1.2;0.1;0.5
           CSV;✅;2;2.2;0.2;1.5
           """;

// 使用Sep库创建一个CSV读取器，自动从标题行推断分隔符。
using var reader = Sep.Reader().FromText(text);

// 根据读取器的规格创建一个写入器，准备将数据写入文本。
using var writer = reader.Spec.Writer().ToText(); 

// 获取列"B"在标题中的索引位置。
var idx = reader.Header.IndexOf("B");
// 定义一个包含列名的数组。
var nms = new[] { "E", "F" };

// 遍历读取器中的每一行数据。
foreach (var readRow in reader)
{
    // 将列"A"读取为只读的字符跨度。
    var a = readRow["A"].Span;
    // 将列"B"的值转换为字符串。
    var b = readRow[idx].ToString();
    // 将列"C"的值解析为整数。
    var c = readRow["C"].Parse<int>();
    // 将列"D"的值解析为浮点数，使用csFastFloat库进行快速解析。
    var d = readRow["D"].Parse<float>();
    // 将列"E"和"F"的值解析为双精度浮点数的跨度。
    var s = readRow[nms].Parse<double>();
    // 遍历解析后的数值，并将每个值乘以10。
    foreach (ref var v in s) { v *= 10; }

    // 开始写入新一行数据，行数据在Dispose时写入。
    using var writeRow = writer.NewRow();
    // 通过只读的字符跨度设置列"A"的值。
    writeRow["A"].Set(a);
    // 通过字符串设置列"B"的值。
    writeRow["B"].Set(b);
    // 通过插值字符串处理器设置列"C"的值，不会产生新的内存分配。
    writeRow["C"].Set($"{c * 2}");
    // 格式化列"D"的值，将数值除以2。
    writeRow["D"].Format(d / 2);
    // 直接格式化多个列的值。
    writeRow[nms].Format(s);
}

Console.WriteLine(writer.ToString());