ChoETL

最新推荐文章于 2024-09-10 09:21:10 发布
最新推荐文章于 2024-09-10 09:21:10 发布
阅读量165 收藏
点赞数

　　ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

　　1. 安装ChoETL

　　Cinchoo ETL可以从Nuget下载,在Nuget包管理器控制台使用GUI或者以下命令:

　　 
Install-Package ChoETL
View Code

　　将命名空间添加到程序:

　　 
using ChoETL;
View Code

　　2. 加载/写入文件

　　要加载/写入任何文件（CSV，FixedLength，Xml，JSON，KVP），只需使用适当的读取器/写入器组件来解析它.

　　CSV - ChoCSVReader / ChoCsvWriter

　　FixedLength - ChoFixedLengthReader /  ChoFixedLengthWriter

　　XML - ChoXmlReader / ChoXmlWriter

　　JSON - ChoJSONReader / ChoJSONWriter

　　KVP - ChoKVPReader / ChoKVPWriter

　　3. CSV文件读写

　　3.1 新建一个csv文件,文件命名为"Emp.csv", 输入以下内容后保存文件.

　　 
1,Tom
2,Carl
3,Mark
CSV content

　　3.2 Iterator(迭代器)方式加载

　　 
foreach (var e in new ChoCSVReader("Emp.csv"))
{
    Console.WriteLine(e.ToStringEx());
}
Load using iterator

　　3.3 Loop(循环)方式加载

　　 
var reader = new ChoCSVReader("Emp.csv");
object rec = null;
 
while ((rec = reader.Read()) != null)
{
    Console.WriteLine(rec.ToStringEx());
}
Load using loop

　　3.4 List<T>(泛型List)方式写入

　　 
List<ExpandoObject> objs = new List<ExpandoObject>();
dynamic rec1 = new ExpandoObject();
rec1.Id = 1;
rec1.Name = "Mark";
objs.Add(rec1);
 
dynamic rec2 = new ExpandoObject();
rec2.Id = 2;
rec2.Name = "Jason";
objs.Add(rec2);
 
using (var parser = new ChoCSVWriter("Emp.csv"))
{
    parser.Write(objs);
}
Write list of objects

　　3.5 Object写入

　　 
using (var parser = new ChoCSVWriter("Emp.csv"))
{
    dynamic rec1 = new ExpandoObject();
    rec1.Id = 1;
    rec1.Name = "Mark";
    parser.Write(item);

    dynamic rec1 = new ExpandoObject();
    rec1.Id = 2;
    rec1.Name = "Jason";
    parser.Write(item);
}
Write each object

　　4. FixedLength文件读写(例如:TSV)

 　　4.1 新建一个txt文件,文件命名为"Emp.txt", 输入以下内容后(以一个或多个TAB键间隔)保存文件.

　　 
Id      Name      
1       Carl      
2       Mark
TXT content

　　4.2 Iterator(迭代器)方式加载

　　 
foreach (dynamic e in new ChoFixedLengthReader("Emp.txt").WithFirstLineHeader())
{
      Console.WriteLine("Id: " + e.Id + " Name: " + e.Name);  
}
Load using iterator

　　4.3 Loop(循环)方式加载

　　 
var reader = new ChoFixedLengthReader("Emp.txt").WithFirstLineHeader();
dynamic rec;
 
while ((rec = reader.Read()) != null)
{
    Console.WriteLine("Id: " + e.Id + " Name: " + e.Name);
}
Load using loop

　　4.4 Field specs方式加载

　　 
foreach (var e in new ChoFixedLengthReader("Emp.txt").WithFirstLineHeader().WithField("Id", 0, 8).WithField(8, 10))
{
    Console.WriteLine("Id: " + e.Id + " Name: " + e.Name);
}
Load with field specs

 　　4.5 POCO方式加载

　　 
public partial class Employee
{
    [ChoFixedLengthRecordField(0, 8)]
    public int Id { get; set; }
    [ChoFixedLengthRecordField(8, 10)]
    public string Name { get; set; }
}

foreach (var e in new FixedLengthReader<Employee>("Emp.txt"))
{
    Console.WriteLine("Id: " + e.Id + " Name: " + e.Name);
}
Load using POCO object

　　4.6  List<T>(泛型List)方式写入

　　 
List<ExpandoObject> objs = new List<ExpandoObject>();
dynamic rec1 = new ExpandoObject();
rec1.Id = 1;
rec1.Name = "Mark";
objs.Add(rec1);
 
dynamic rec2 = new ExpandoObject();
rec2.Id = 2;
rec2.Name = "Jason";
objs.Add(rec2);
 
using (var parser = new ChoFixedLengthWriter("Emp.txt").WithFirstLineHeader().
      WithField("Id", 0, 8).
      WithField("Name", 8, 10))
{
    parser.Write(objs);
}
Write list of objects

　　4.7  Object写入

　　 
using (var parser = new ChoFixedLengthWriter("Emp.txt").WithFirstLineHeader().
      WithField("Id", 0, 8).
      WithField("Name", 8, 10))
{
    dynamic rec1 = new ExpandoObject();
    rec1.Id = 1;
    rec1.Name = "Mark";
    parser.Write(item);

    dynamic rec1 = new ExpandoObject();
    rec1.Id = 2;
    rec1.Name = "Jason";
    parser.Write(item);
}
Write each object

　　5. XML文件读写

　　5.1 新建一个xml文件,文件命名为"Emp.xml", 输入以下内容后保存文件.

　　 
<Employees>
    <Employee Id='1'>
        <Name>Tom</Name>
    </Employee>
    <Employee Id='2'>
        <Name>Mark</Name>
    </Employee>
</Employees>
XML content

　　5.2 Iterator(迭代器)方式加载

　　 
foreach (dynamic e in new ChoXmlReader("Emp.xml"))
{
    Console.WriteLine("Id: " + e.Id + " Name: " + e.Name);
}
Load using iterator

　　5.3 Loop(循环)方式加载

　　 
var reader = new ChoXmlReader("Emp.xml");
dynamic rec;
 
while ((rec = reader.Read()) != null)
{
    Console.WriteLine("Id: " + e.Id + " Name: " + e.Name);
}
Load using loop

　　5.4 POCO方式加载

　　 
public class Employee
{
    public int Id { get; set; }
    public string Name { get; set; }
}

foreach (var e in new ChoXmlReader<Employee>("Emp.xml"))
{
    Console.WriteLine("Id: " + e.Id + " Name: " + e.Name);
}
Load using POCO object

　　5.5  List<T>(泛型List)方式写入

　　 
List<ExpandoObject> objs = new List<ExpandoObject>();
dynamic rec1 = new ExpandoObject();
rec1.Id = 1;
rec1.Name = "Mark";
objs.Add(rec1);
 
dynamic rec2 = new ExpandoObject();
rec2.Id = 2;
rec2.Name = "Jason";
objs.Add(rec2);
 
using (var parser = new ChoXmlWriter("Emp.xml").WithXPath("Employees/Employee"))
{
    parser.Write(objs);
}
Write list of objects

　　5.6  Object写入

　　 
using (var parser = new ChoXmlWriter("Emp.xml").WithXPath("Employees/Employee"))
{
    dynamic rec1 = new ExpandoObject();
    rec1.Id = 1;
    rec1.Name = "Mark";
    parser.Write(item);

    dynamic rec1 = new ExpandoObject();
    rec1.Id = 2;
    rec1.Name = "Jason";
    parser.Write(item);
}
Write each object

　　5.7 POCO object写入

　　 
public class Employee
{
    public int Id { get; set; }
    public string Name { get; set; }
}

List<Employee> objs = new List<Employee>();
objs.Add(new Employee() { Id = 1, Name = "Tom" });
objs.Add(new Employee() { Id = 2, Name = "Mark" });

using (var parser = new ChoXmlWriter<Employee>("Emp.xml").WithXPath("Employees/Employee"))
{
    parser.Write(objs);
}
Write using POCO object

　　6. JSON文件读写

　　6.1 新建一个json文件,文件命名为"Emp.json", 输入以下内容后保存文件.

　　 
[
    {
    "Id": 1,
    "Name": "Mark"
    },
    {
    "Id": 2,
    "Name": "Tom"
    }
]
JSON content

　　6.2 Iterator(迭代器)方式加载

　　 
foreach (dynamic e in new ChoJSONReader("Emp.json"))
{
    Console.WriteLine("Id: " + e.Id + " Name: " + e.Name);
}
Load using iterator

　　6.3 Loop(循环)方式加载

　　 
var reader = new ChoJSONReader("Emp.json");
dynamic rec;
 
while ((rec = reader.Read()) != null)
{
    Console.WriteLine("Id: " + e.Id + " Name: " + e.Name);
}
Load using loop

　　6.4 POCO方式加载

　　 
public class Employee
{
    public int Id { get; set; }
    public string Name { get; set; }
}

foreach (var e in new ChoJSONReader<Employee>("Emp.json"))
{
    Console.WriteLine("Id: " + e.Id + " Name: " + e.Name);
}
Load using POCO object

　　6.5 List<T>(泛型List)方式写入

　　 
List<ExpandoObject> objs = new List<ExpandoObject>();
dynamic rec1 = new ExpandoObject();
rec1.Id = 1;
rec1.Name = "Mark";
objs.Add(rec1);
 
dynamic rec2 = new ExpandoObject();
rec2.Id = 2;
rec2.Name = "Jason";
objs.Add(rec2);
 
using (var parser = new ChoJSONWriter("Emp.json"))
{
    parser.Write(objs);
}
Write list of objects

　　6.6 Object写入

　　 
using (var parser = new ChoJSONWriter("Emp.json"))
{
    dynamic rec1 = new ExpandoObject();
    rec1.Id = 1;
    rec1.Name = "Mark";
    parser.Write(item);

    dynamic rec1 = new ExpandoObject();
    rec1.Id = 2;
    rec1.Name = "Jason";
    parser.Write(item);
}
Write each object

　　6.7 POCO object写入

　　 
public class Employee
{
    public int Id { get; set; }
    public string Name { get; set; }
}

List<Employee> objs = new List<Employee>();
objs.Add(new Employee() { Id = 1, Name = "Tom" });
objs.Add(new Employee() { Id = 2, Name = "Mark" });

using (var parser = new ChoJSONWriter<Employee>("Emp.json"))
{
    parser.Write(objs);
}
Write using POCO object

　　7. Key-Value(KVP)文件读写

　　7.1 新建一个ics文件,文件命名为"sample.ics", 输入以下内容后保存文件.

　　 
BEGIN:VCALENDAR
PRODID:-//Microsoft Corporation//Outlook 11.0 MIMEDIR//EN
VERSION:2.0
METHOD:PUBLISH
BEGIN:VEVENT
ORGANIZER:MAILTO:eralper@nosuchemail.com
DTSTART:20090306T140000Z
DTEND:20090306T150000Z
LOCATION:Meeting Room 1-D
TRANSP:OPAQUE
SEQUENCE:0
UID:040000008200E00074C5B7101A82E00800000000B09916C3F9ADC9010000000000000000100
0000099DFBC4731297248A2CAF0885C8C4856
DTSTAMP:20090326T080109Z
DESCRIPTION:A short discussion on topics related with upgrade of HiPath
ProCenter SDK Applications\n
SUMMARY:Upgrade HiPath ProCenter SDK Applications
PRIORITY:5
X-MICROSOFT-CDO-IMPORTANCE:1
CLASS:PUBLIC
BEGIN:VALARM
TRIGGER:-PT15M
ACTION:DISPLAY
DESCRIPTION:Reminder
END:VALARM
END:VEVENT
END:VCALENDAR
ICS content

　　7.2 Iterator(迭代器)方式加载

　　 
using (var r = new ChoKVPReader(@"sample.ics"))
{
    r.Configuration.RecordStart = "BEGIN:VEVENT";
    r.Configuration.RecordEnd = "END:VEVENT";
    r.Configuration.IgnoreEmptyLine = true;
    r.Configuration.Comment = ";";
    foreach (dynamic item in r)
    {
        Console.WriteLine(item.SUMMARY);
    }
}
Load using iterator

　　7.3 Loop(循环)方式加载

　　 
using (var r = new ChoKVPReader(@"sample.ics"))
{
    r.Configuration.RecordStart = "BEGIN:VEVENT";
    r.Configuration.RecordEnd = "END:VEVENT";
    r.Configuration.IgnoreEmptyLine = true;
    r.Configuration.Comment = ";";

    dynamic rec;
    while ((rec = r.Read()) != null)
    {
        Console.WriteLine(rec.SUMMARY);
    }
}
Load using loop

　　7.4 POCO方式加载

　　 
public class Employee
{
    public int Id { get; set; }
    public string Name { get; set; }
}

foreach (var e in new ChoJSONReader<Employee>("Emp.json"))
{
    Console.WriteLine("Id: " + e.Id + " Name: " + e.Name);
}
Load using POCO object

　　7.5 写入待补充

　　8. GitHub

　　https://github.com/Cinchoo/ChoETL

 

lishufen123a
关注
ChoETL：.NET c＃的ETL框架（用于CSV，Flat，Xml，JSON，键值，Parquet和Yaml格式文件的解析器编写器）
02-03
Cinchoo ETL .NET的ETL框架 简单，直观的.NET提取，转换和加载（ETL）库。 极其快速，灵活且易于使用。 Cinchoo ETL是基于代码的ETL框架，用于从多个来源提取数据，转换并将其加载到.NET环境中自己的数据仓库中。 您可以立即将数据存储在数据仓库中。 安装 要安装Cinchoo ETL（.NET Framework），请在程序包管理器控制台中运行以下命令 PM> Install-Package ChoETL 要安装Cinchoo ETL（.NET Standard），请在程序包管理器控制台中运行以下命令 PM> Install-Package ChoETL.N
探索 ChoETL：一个高效、灵活的数据转换库
gitblog_00084的博客
04-13 424
探索 ChoETL：一个高效、灵活的数据转换库 ChoETLETL framework for .NET (Parser / Writer for CSV, Flat, Xml, JSON, Key-Value, Parquet, Yaml, Avro formatted files)项目地址:https://gitcode.com/gh_mirrors/ch/ChoETL 是一个由 Cinch...
ChoETL：支持多数据库读写.Net开源库，包含 CSV、XML、JSON等8个格式
最新发布
成长的足迹
09-10 664
ChoETL 是一个开源的 .NET ETL（Extract, Transform, Load）框架。它提供了解析和写入多种文件格式的能力，包括但不限于 CSV、FixedLength、XML、JSON、Key-Value、Parquet、YAML 和 Avro格式的文件、数据库。
Cinchoo ETL - 固定长度阅读器
wouderw的博客
11-08 139
它是一个基于代码的库，用于在 .NET 环境中从多个来源提取数据、转换并加载到您自己的数据仓库中。文件结构匹配的 POCO 对象一样简单，您可以将整个文件读取为可枚举模式。上面的代码说明了如何定义 POCO 对象来携带输入文件中每个记录行的值。记录长度为 18 个字符、有 2 列的文件的简单示例开始（ID：8 个字符长，名称：10 个字符长）字段的值不能自动转换成属性的类型，你可以指定一个自定义/内置的.NET转换器来转换值。文件结构匹配的 POCO 对象一样简单，您可以将整个文件读取为可枚举模式。
ChoETL 开源项目教程
gitblog_00187的博客
08-10 369
ChoETL 开源项目教程 ChoETLETL framework for .NET (Parser / Writer for CSV, Flat, Xml, JSON, Key-Value, Parquet, Yaml, Avro formatted files)项目地址:https://gitcode.com/gh_mirrors/ch/ChoETL 项目介绍 ChoETL 是一个用于 .N...
etlbox:NET的轻量级ETL（提取，转换，加载）库和数据集成工具箱
04-29
ETLBox ...为什么选择ETLBox 您可以使用ETLBox进行以下操作： 将传入数据转换为通用格式。 准备数据以进行分析和可视化>。 在数据库之间迁移。 跨Web应用程序，批处理作业和API共享数据处理逻辑。...
Cinchoo ETL-Xml阅读器
04-14
Imports ChoETL Dim reader As New ChoXmlReader("input.xml") Using dt As DataTable = reader.AsDataTable() ' 处理DataTable中的数据 End Using ``` 而在C#中，代码类似： ```csharp using ChoETL; var ...
Cinchoo-使用AppSettings作为配置源
04-11
Cinchoo库主要由两个组件组成：ChoETL（数据提取、转换和加载）和ECHO（对象关系映射）。在这篇文章中，我们关注的是ECHO，它包含了一个名为ChoStandardAppSettingsConfig的类，这个类是用来简化从AppSettings读取...
Cinchoo ETL-FixedLengthWriter
04-14
using ChoETL; class Program { static void Main(string[] args) { var records = new List<dynamic> { new { Name = "John Doe", Age = 30 }, new { Name = "Jane Smith", Age = 25 } }; using (var ...
Cinchoo ETL——对大型CSV文件进行排序
寒冰屋的专栏
05-10 345
在本技巧中，您将学习如何使用Cinchoo ETL框架对非常大的CSV文件进行排序。使用非常简单，只需几行代码，即可完成转换。您可以转换大文件，因为转换过程是基于流的、速度非常快且内存占用低。
ChoETL 开源项目使用教程
gitblog_00109的博客
08-12 381
ChoETL 开源项目使用教程 ChoETLETL framework for .NET (Parser / Writer for CSV, Flat, Xml, JSON, Key-Value, Parquet, Yaml, Avro formatted files)项目地址:https://gitcode.com/gh_mirrors/ch/ChoETL 1. 项目的目录结构及介绍 ChoE...
基于 C# 的 ETL 大数据并行编程
dotNET跨平台
12-20 1475
作者：James Spinella译者：精致码农原文：https://bit.ly/3nGQu4J并行编程在历史上一直是软件开发中比较小众和复杂的环节，往往不值得头疼。但编写并行化应用只...
ChoETL - CSV/FixedLength/Xml/JSON/KVP快速读写的利器
weixin_30326741的博客
09-08 292
　　ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。 　　1.安装ChoE...
Cinchoo ETL - 快速入门：将 CSV 转换为 JSON 文件
wouderw的博客
10-16 823
是一个用于 .NET 的开源 ETL（提取、转换和加载）框架。它是一个基于代码的库，用于在 .NET 环境中从多个来源提取数据、转换并加载到自己的数据仓库中。框架将 CSV 文件转换为 JSON 格式文件非常简单，几行代码就可以完成转换。而且可以转换大文件，因为转换过程是基于流的，速度非常快且内存占用少。使用该库将 CSV 文件转换为 JSON 格式的文件，只需几行代码即可完成，速度快、基于流且占用内存少。该框架库是使用 .NET 4.5 / .NET Core 3.x 框架用 C# 编写的。
主流ETL工具
AricZhou
12-21 3048
目前市场上主流的ETL工具有，IBM公司的DataStage、Informatica公司的Powercenter、免费ETL工具Kettle等等。 1、  Datastage DataStage 是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化，并将其输入数据集市或数据仓库目标数据库的集成工具。他的优点如下： 具有多种数据源的连接能力，包括目前市场上的大部分主流数
Cinchoo ETL——快速入门：将JSON转换为Xml文件
寒冰屋的专栏
05-11 447
在本技巧中，您将学习如何使用Cinchoo ETL框架快速将json转换为xml。使用非常简单，几行代码就可以完成转换。您可以转换大文件，因为转换过程是基于流的，速度非常快且内存占用少。
数据清洗例子
m0_53830378的博客
11-18 411
1.Excel输入 双击“Excel输入”控件，进入Excel输入控件界面，首先点击“文件”，选择“浏览”按钮，找到物理成绩.xls文件，选择“增加”按钮，如图1所示；然后点击“工作表”，获取工作表名称；最后点击“字段”按钮，添加字段，点击“预览记录”得到数据，具体如下图所示。 2.生成记录 双击“生成记录”控件，进入生成记录控件界面，首先将限制参数改为12，然后在“字段表”中，对各字段的参数进行设置，最后点击“预览”按钮，弹出“输入预览记录数”对话框，预览记录数采用默认值，单击“确定”按钮。弹出“预览
Excel输入，生成记录，生成随机数，获取系统信息，排序记录，去除重复记录，替换NULL值
guyanxi的博客
11-01 715
1.Excel输入 使用Ctrl+N快捷键，创建【Excel输入】转换工程，单击【核心对象】选项卡，展开【输入】对象，选中【Excel输入】组件，并拖曳拖曳到右边工作区中，如图所示。Ø使用Ctrl+N快捷键，创建【Excel输入】转换工程，单击【核心对象】选项卡，展开【输入】对象，选中【Excel输入】组件，并拖曳拖曳到右边工作区中，如图所示。 双击【Excel输入】组件，弹出【Excel输入】对话框，其中显示默认的【文件】对话框，如图所示。需要注意的是，【Excel输入】对话框下方的【预览记录】.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值