目录
- 下载 Cinchoo ETL 源码
- 下载 Cinchoo ETL 二进制文件 (.NET Core)
- 下载 Cinchoo ETL 二进制文件 (.NET Framework)
- 工作示例 1(.NET Fidlle)
- 工作示例 2 (.NET Fiddle)
1、简介
ChoETL是一个用于.NET的开源ETL(提取、转换和加载)框架。它是一个基于代码的库,用于在.NET环境中从多个来源提取数据、转换并加载到您自己的数据仓库中。您可以立即在数据仓库中获取数据。
本文讨论使用Cinchoo ETL框架从JSON格式生成Xml文件。使用非常简单,几行代码就可以完成转换。您可以转换大文件,因为转换过程是基于流的,速度非常快且内存占用少。
2. 要求
该框架库是使用.NET 4.5/.NET Core 3.x框架用C#编写的。
3. 如何使用
3.1 样本数据
让我们从一个转换以下JSON输入文件的简单示例开始。
清单 3.1.1 示例员工JSON数据输入文件(emp.json)
[
{
"firstName": "John",
"lastName": "Smith",
"age": 25,
"address": {
"streetAddress": "21 2nd Street",
"city": "New York",
"state": "NY",
"postalCode": "10021"
},
"phoneNumber": [
{
"type": "home",
"number": "212 555-1234"
},
{
"type": "fax",
"number": "646 555-4567"
}
]
},
{
"firstName": "Tom",
"lastName": "Mark",
"age": 50,
"address": {
"streetAddress": "10 Main Street",
"city": "Edison",
"state": "NJ",
"postalCode": "08837"
},
"phoneNumber": [
{
"type": "home",
"number": "732 555-1234"
},
{
"type": "fax",
"number": "609 555-4567"
}
]
}
]
预期的xml输出将是。
清单 3.1.2 XML数据输出文件(emp.xml)
<Employees>
<Employee>
<firstName>John</firstName>
<lastName>Smith</lastName>
<age>25</age>
<address>
<streetAddress>21 2nd Street</streetAddress>
<city>New York</city>
<state>NY</state>
<postalCode>10021</postalCode>
</address>
<phoneNumber>
<type>home</type>
<number>212 555-1234</number>
</phoneNumber>
<phoneNumber>
<type>fax</type>
<number>646 555-4567</number>
</phoneNumber>
</Employee>
<Employee>
<firstName>Tom</firstName>
<lastName>Mark</lastName>
<age>50</age>
<address>
<streetAddress>10 Main Street</streetAddress>
<city>Edison</city>
<state>NJ</state>
<postalCode>08837</postalCode>
</address>
<phoneNumber>
<type>home</type>
<number>732 555-1234</number>
</phoneNumber>
<phoneNumber>
<type>fax</type>
<number>609 555-4567</number>
</phoneNumber>
</Employee>
</Employees>
首先要做的是安装ChoETL.JSON/ChoETL.JSON.NETStandard nuget包。为此,请在包管理器控制台中运行以下命令。
.NET Framework
Install-Package ChoETL.JSON
.NET Core
Install-Package ChoETL.JSON.NETStandard
现在将ChoETL命名空间添加到程序中。
using ChoETL;
3.2 快速转换
此方法展示了如何使用少量代码将JSON文件转换为Xml格式。不需要设置/POCO类。
清单 3.2.1 快速JSON到Xml文件转换
private static void QuickConversion()
{
using (var r = new ChoJSONReader("emp.json"))
{
using (var w = new ChoXmlWriter(Console.Out)
.WithRootName("Employees")
.WithNodeName("Employee")
)
{
w.Write(r);
}
}
}
创建一个用于生成Xml(emp.xml)文件的ChoXmlWriter实例。然后创建一个ChoJSONReader对象实例来读取emp.json文件。瞧,Xml文件转换发生在这段小代码中。
Fidlle示例: https ://dotnetfiddle.net/QGTzil
3.3 使用POCO对象
这种方法向您展示了如何定义POCO实体类并将它们用于转换过程。这种方法更安全,并且可以更好地控制转换过程,例如进行属性验证、使用回调机制等。
清单 3.3.1 映射类
public class Address
{
public string streetAddress { get; set; }
public string city { get; set; }
public string state { get; set; }
public string postalCode { get; set; }
}
public class PhoneNumber
{
public string type { get; set; }
public string number { get; set; }
}
[ChoXmlRecordObject(XPath = "Emps/Emp")]
public class Employee
{
public string firstName { get; set; }
public string lastName { get; set; }
public int age { get; set; }
public Address address { get; set; }
public List<PhoneNumber> phoneNumber { get; set; }
}
如上所示,使用ChoXmlRecordObjectAttribute定义根节点和元素节点的XPath 。
然后使用下面的Employee类进行文件的转换。
清单 3.3.2 使用POCO对象将JSON转换为Xml文件
private static void UsingPOCO()
{
using (var r = new ChoJSONReader<Employee>(json))
{
using (var w = new ChoXmlWriter<Employee>(Console.Out))
{
w.Write(r);
}
}
}
Fidlle示例: https ://dotnetfiddle.net/7vNvKF
https://www.codeproject.com/Tips/5315392/Cinchoo-ETL-Quick-Start-Converting-JSON-to-Xml-Fil