Cinchoo ETL——将巨大的JSON文件解析为流

目录

1.简介

2. 要求

3. 如何使用

3.1 样本数据

3.2 快速解析

3.3 使用POCO对象

---

• 下载 Cinchoo ETL 源码
• 下载 Cinchoo ETL 二进制文件
• 工作示例 1（.NET Fiddle）
• 工作示例 2 (.NET Fiddle)

1.简介

ChoETL是一个用于.NET的开源ETL（提取、转换和加载）框架。它是一个基于代码的库，用于在.NET环境中从多个来源提取数据、转换并加载到您自己的数据仓库中。您可以立即在数据仓库中获取数据。

本文讨论使用Cinchoo ETL框架解析非常大的JSON文件。使用非常简单，几行代码就可以完成解析。您可以将大文件解析为基于流的、非常快且内存占用少的文件。

2. 要求

该框架库是使用.NET 4.5/.NET Core 3.x框架用C#编写的。

3. 如何使用

3.1 样本数据

让我们从查看下面的JSON输入文件开始。假设文件非常大（100+MB），包含相同的对象。目标是一次从流中读取一个对象。这将消除将数据的全部内容作为对象加载到RAM中的需要。

清单 3.1.1 示例JSON数据输入文件(sample.json)

[
  {
    "id": 1,
    "value": "hello",
    "another_value": "world",
    "value_obj": {
      "name": "obj1"
    },
    "value_list": [
      1,
      2,
      3
    ]
  },
  {
    "id": 2,
    "value": "foo",
    "another_value": "bar",
    "value_obj": {
      "name": "obj2"
    },
    "value_list": [
      4,
      5,
      6
    ]
  }
]

首先要做的是安装ChoETL.JSON/ChoETL.JSON.NETStandard nuget包。为此，请在包管理器控制台中运行以下命令。

.NET Framework

Install-Package ChoETL.JSON

.NET Core

Install-Package ChoETL.JSON.NETStandard

现在将ChoETL命名空间添加到程序中：

using ChoETL;

3.2 快速解析

这种方法展示了如何用少量代码解析大型JSON文件。不需要设置/POCO类。

清单 3.2.1 快速JSON到YAML文件转换

private static void QuickParse()
{       
    using (var r = new ChoJSONReader("sample.json"))
    {
         foreach (var rec in r)
             Console.WriteLine(rec.Dump());
    }
}

创建一个用于加载json(sample.yaml)文件的ChoJSONReader实例。Cinchoo ETL库一次解析json文件一项并将它们作为流生成。

Fiddle示例：https ://dotnetfiddle.net/PQz3ck

3.3 使用POCO对象

这种方法向您展示了如何定义POCO实体类并将它们用于解析过程。这种方法更安全，并且可以更好地控制转换过程，例如进行属性验证、使用回调机制等。

首先，创建属性匹配JSON文件的类：

清单 3.3.1 映射类

public class SampleObject
{
    [JsonProperty("id")]
    public int Id { get; set; }
    [JsonProperty("value")]
    public string Value { get; set; }
    [JsonProperty("another_value")]
    public string AnotherValue { get; set; }
    [JsonProperty("value_obj")]
    public ValueObject ValueObject { get; set; }
    [JsonProperty("value_list")]
    public int[] ValueList { get; set; }
}

public class ValueObject
{
    [JsonProperty("name")]
    public string Name { get; set; }
}

然后如下使用它们来解析文件。

清单 3.3.2 使用POCO对象解析JSON文件

private static void UsingPOCO()
{
    using (var r = new ChoJSONReader<SampleObject>("sample.json"))
    {
         foreach (var rec in r)
             Console.WriteLine(rec.Dump()); 
    }
}

Fiddle示例：https ://dotnetfiddle.net/7gN02f

https://www.codeproject.com/Tips/5315195/Cinchoo-ETL-Parsing-Huge-JSON-File-as-Stream