DataCleaner中文文档

最新推荐文章于 2022-10-05 09:48:20 发布
最新推荐文章于 2022-10-05 09:48:20 发布
阅读量4.4k 收藏 14
点赞数 3
分类专栏： DataCleaner 文章标签： 大数据 java 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43899418/article/details/112949079
版权

DataCleaner中文文档

DataCleaner是一个数据质量工具包，您可以分析、更正和丰富数据。主要是分析数据，清洗数据，以及在匹配和主数据管理解决方案中使用。最后的数据呈现不是太直观。
最近工作中刚好使用到，看了原官方全英文文档不是那么直观，谷歌自动翻译也很难受。抽空自己人性化翻译了一下，便于有兴趣的伙伴了解理解。按照官网文档直译，需结合实际操作才能愈加熟悉了解。
官方文档地址：https://datacleaner.github.io/documentation
DataCleaner官网：https://datacleaner.org
功能拓展社区：https://github.com/schic/DQCS
Ⅰ.DataCleaner简介

1.背景和概念

      1.1 什么是数据质量（DQ）？
      1.2 什么是数据分析？
      1.3 什么是数据争用？
      1.4 什么是数据存储？
            复合数据存储
      1.5 什么是数据监控？
      1.6 什么是主数据管理（MDM）？

2.DataCleaner桌面版入门

      2.1 安装客户端
      2.2 连接数据库(或存储文件)
      2.3 向job中添加组件
      2.4 连接组件
            转换器输出
            过滤条件
            输出数据流
      2.5 执行job
      2.6 保存和打开job
      2.7 job示例模板
      2.8 将清洗后的数据写入文件
Ⅱ.组件分析

3. Transform

      3.1 JavaScript 转换器
      3.2 调用子分析job
      3.3 Apply classifier & Apply regression
      3.4 Equals 过滤器
      3.5 Max rows 过滤器
      3.6 Not null 过滤器
      3.7 Union转换器

4. Improve

      4.1 近义词查找
      4.2 表查询

5. Analyze

      5.1 布尔分析器
      5.2 完整性分析器
      5.3 字符集分布
      5.4 日期间隔分析器
      5.5 日期/时间分析器
      5.6 数字分析器
      5.7 模式工具
      5.8 参考数据匹配器
      5.9 参照完整性
      5.10 字符串分析器
      5.11 主键检查
      5.12 值分布
      5.13 值匹配
      5.14 工作日分布
      5.15 机器学习

6. Write

      6.1 创建CSV文件
      6.2 创建Excel表格
      6.3 创建临时表
      6.4 插入表格
      6.5 更新表格

Ⅲ.数据参考

7. Dictionaries

      7 字典

8. Synonyms (aka. Synonym catalogs)

      8.1 文本文件同义词目录
      8.2 数据存储同义词目录

9. String patterns

      9 字符串模式
Ⅳ.相关配置

10. Configuration file

      10.1 XML模式
      10.2 数据存储
            数据库（JDBC）连接
            逗号分隔值（CSV）文件
            固定宽度值文件
            Excel 数据存储
            XML 数据存储
            ElasticSearch 数据存储
            MongoDB 数据存储
            CouchDB 数据存储
            复合数据存储
      10.3 参考数据
            字典
            同义词目录
            字符串模式
      10.4 任务执行器
      10.5 存储提供商

11. Analysis job files

      11.1 xml模式
      11.2 Source section

12. Logging

      12.1 日志配置文件
      12.2 默认日志配置
      12.3 修改日志级别
      12.4 选择性日志输出

13. Database drivers

      13.1 在DataCleaner桌面中安装数据库驱动程序
Ⅴ.调用 DataCleaner jobs

14. Command-line interface

      14.1 可执行程序
      14.2 使用场景
      14.3 执行分析job
      14.4 列出数据存储内容和可用组件
      14.5 参数化job
      14.6 动态重写配置元素

15. Apache Hadoop and Spark interface

      15.1 Hadoop部署概述
      15.2 设置Spark和DataCleaner环境
                     将配置文件上传到HDFS
                     将作业文件上传到HDFS
                     将可执行文件上传到HDFS
      15.3 使用Spark启动DataCleaner作业
      15.4 在DataCleaner桌面端使用Hadoop
                     配置Hadoop集群
                     HDFS上的CSV数据存储
      15.5 Hadoop接口的限制

Ⅵ.第三方集成

16. Pentaho integration

      16.1 在Pentaho数据集成中配置DataCleaner
      16.2 启动DataCleaner以分析Pentaho数据集成步骤
      16.3 在Pentaho数据集成中运行DataCleaner作业
Ⅶ.开发者指南

17. Architecture

      17.1 数据存取
      17.2 处理框架

18. Executing jobs through code

      18.1 步骤和选项概述
      18.2 第一步：配置
      18.3 第二步：作业
      18.4 第三步：执行
      18.5 第四步：结果

19. Developer resources

      19.1 扩展开发教程
      19.2 Building DataCleaner

20. Extension packaging

      20.1 组件上的注解
      20.2 单个jar文件
      20.3 扩展元数据XML
      20.4 组件图标

21. Embedding DataCleaner

      21 嵌入DataCleaner

lover_leo
关注
  • 3
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DataCleaner
02-27
DataCleaner 是一个数据质量分析,比较,验证和监督的软件.DataCleaner包括一个独立的图形用户界面分析,比较和验证,并进行监测web应用 DataCleaner 是一个数据质量分析,比较,验证和监督的软件.DataCleaner包括一个独立的图形用户界面分析,比较和验证,并进行监测web应用
datacleaner 数据质量管理软件
11-26
数据质量管理分析软件，运用于数据仓库数据分析校验
datacleaner工具数据分析1
08-08
（2）以TB_MZ_SFMXB为测试数据，搭配Date range组件以字段FYFSSJ为筛选条件，筛选1月份的数据，搭配Number analyzer组件对字
DataCleaner：首要的开源数据质量解决方案
02-05
数据清理器 一流的开源数据质量解决方案。 DataCleaner是一个数据质量工具包，可让您分析，更正和丰富数据。 人们将其用于即席分析，重复清洗以及在匹配和主数据管理解决方案中的瑞士军刀。 去哪里获取最终用户信息？ 请访问DataCleaner社区网站以获取下载，新闻，文档等。 访问我们的Gitter聊天频道提出问题或讨论。 GitHub降价页面和问题仅用于开发人员和技术方面。 模块结构 主要的应用模块是： api-DataCleaner的公共API。 通常，应使用界面和注释来构建自己的扩展。 resources-DataCleaner中的静态资源 oss-branding-图
DataCleaner中文官方文档1
08-08
DataCleaner中文官方文档目录 第一章 DataCleaner简介 1 1. 背景和概念 1 1.1 什么是数据质量（DQ）？1 1.2 什么是数据画
datacleaner学习文档2
08-08
1.重复检测函数重复检测函数的主要特点是:高质量的——质量是匹配的特点,我们重复检测特性提供了这个承诺 3.参考数据匹配器（reference data mat
DataCleaner简介1.4
weixin_43899418的博客
01-22 1383
什么是数据存储？ 数据存储(datastore)是存储数据的地方。企业数据通常存在于关系数据库中，但这一规则有许多例外。 为了理解不同的数据源，例如数据库、电子表格、XML文件甚至标准业务应用程序，我们使用了数据存储这一总称。DataCleaner能够从非常广泛的数据存储中检索数据。此外，DataCleaner还可以更新大多数数据存储的数据。 可以在UI中或通过配置文件创建数据存储。您可以从任何类型的源创建数据存储，例如：CSV、Excel、Oracle数据库、MySQL等。 复合数据存储 复合数据存储(.
ETL工具大全：Kettle、DataCleaner、canal、DataX
小龙在线
10-05 6948
Kettle是一款国外开源的ETL工具，使用Java语言编写，可以运行在Windows、Linux、Unix上，数据抽取高效、稳定。Kettle包含Spoon、Pan、Chef、Encr和Kitchen等组件，Spoon是一个图形用户界面，可以方便直观地完成数据转换任务。Spoon可以运行转换和任务，转换用Pan来运行，任务用Kitchen运行。
DataCleaner---14.5 参数化job
weixin_43899418的博客
02-25 165
14.5 参数化job 如果要使作业的一部分可参数化/变量化，则可以这样做。目前，这是一项仅通过编辑支持的功能。分析.xml文件，因为DataCleaner图形用户界面在保存作业时不存储作业变量。 在作业的源代码部分，可以添加变量，这些变量是将在整个作业中引用的键/值对。每个变量都可以有一个默认值，在未指定变量值的情况下将使用该值。下面是一个简单的例子： ... <source> <data-context ref="my_datastore" /> <columns
DataCleaner技术预研
南戈的博客
05-08 3124
DataCleaner 在github介绍中描述为“首屈一指的开放源码数据质量解决方案。”，由Neopost和Human Inference提供支持的开源软件，协议为LGPL3.0，目前由68个发行版本。最新版为5.5.0，社区下载版为5.1.5。windows、linux、mac有分别的安装包。 概览 描述 DataCleaner 是一个数据质量分析,比较,验证和监督的软件.DataCle...
DataCleaner:数据质量分析，分析，清理，重复检测+更多-开源
04-29
DataCleaner是数据质量分析应用程序，是DQ解决方案的解决方案平台。 它的核心是强大的数据分析引擎，该引擎可扩展，从而增加了数据清除，转换，扩充，重复数据删除，匹配和合并的功能。 网站：http：//datacleaner.github.io
datacleaner学习文档1
08-08
datacleaner学习文档1
datacleaner使用文档2
08-08
datacleaner使用文档2
DataCleaner简介1.1
weixin_43899418的博客
01-21 1463
什么是数据质量（DQ）？ 数据质量（Data Quality简称DQ）是一个概念和一个业务术语，涵盖了用于特定目的的数据的质量。DQ术语通常用于商业决策中使用的数据质量，但也可能指研究、活动、流程等中使用的数据质量。 处理数据质量通常因项目而异，正如数据质量的问题有很大的不同。 数据质量问题的例子包括： 数据的完整性 数据的正确性 数据冗余 数据统一/标准化 数据质量分析（DQA）是检查特定过程或组织的数据质量的（人工）过程。DQA包括技术和非技术要素。例如，要做好DQA，您可能需要与用户、业务人员、合
DataCleaner入门2.1
weixin_43899418的博客
01-26 1236
2.1 安装客户端 以下是安装DataCleaner的系统要求： 电脑一台 jdk1.7及以上 专业版的DataCleaner软件许可证文件。如果您要求免费试用或在线购买DataCleaner，此文件将发送到您的电子邮件地址。 使用安装程序启动安装过程。安装程序是一个可执行的JAR文件，只要双击它，它在大多数系统上都是可执行的。就是启动一个jar文件。 如果双击安装程序时安装程序未启动，请打开命令提示符并输入：java -jar DataCleaner-[edition]-[version]-inst
DataCleaner入门2.2-连接datastore
weixin_43899418的博客
01-26 705
连接数据存储 下面是启动DataCleaner（桌面社区版）时显示的初始屏幕截图。通过单击屏幕底部的按钮，可以在“build new job”或“Manage datastores”屏幕中添加新的数据存储。 可以使用左上角New按钮，添加文件数据存储（datastore）。下面是一些按钮，可以添加数据库或云服务。 如果文件是使用拖放区添加的，则将保留其格式。“Manage datastores”按钮管理者着各种各样的数据存储记录。 这个“数据存储管理Datastore management”屏幕-除了查
DataCleaner简介1.2
weixin_43899418的博客
01-21 501
什么是数据分析？ 数据分析（Data profiling）是调查数据存储以创建其“profile”的活动。有了数据存储的概要文件，您就可以更好地实际使用和改进它。 分析的方式通常取决于您是否已经对数据的质量有了一些想法，或者您是否对手头的数据存储熟不熟练。无论哪种方式，我们都建议采用探索性的方法，因为尽管您认为只需要查找一定数量的问题，但根据我们的经验（以及DataCleaner的许多特性背后的推理），检查数据中您认为正确的项目细节同样重要！一般来说，在你的分析中加入更多的数据可能会有意想不到的结果，更节省
Flink flatMap清洗数据
最新发布
08-25
Flink的flatMap操作是一种针对数据流的转换操作，可以用于清洗数据。在Flink中，flatMap操作可以将一个输入元素映射为零个、一个或多个输出元素。 为了清洗数据，你可以使用flatMap操作来实现以下步骤： 1. 定义一个自定义的flatMap函数，实现数据清洗逻辑。该函数将输入的数据进行处理，并生成一个或多个清洗后的输出元素。 2. 在Flink的DataStream上使用flatMap函数进行转换。使用`flatMap`方法并传入自定义的flatMap函数即可。 下面是一个简单的示例，展示如何使用Flink的flatMap操作进行数据清洗： ```java import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.util.Collector; public class DataCleaner implements FlatMapFunction<String, String> { @Override public void flatMap(String value, Collector<String> out) { // 数据清洗逻辑 // 这里只是一个示例，你可以根据实际需求进行自定义处理 String cleanedData = value.replaceAll("[^a-zA-Z0-9]", ""); // 将清洗后的数据输出 out.collect(cleanedData); } } public class Main { public static void main(String[] args) throws Exception { final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 读取输入数据流 DataStream<String> input = env.fromElements("Hello, World!", "Flink is awesome!"); // 应用flatMap操作进行数据清洗 DataStream<String> cleanedData = input.flatMap(new DataCleaner()); // 输出清洗后的数据流 cleanedData.print(); env.execute("Data Cleaning Example"); } } ``` 在上面的示例中，我们定义了一个`DataCleaner`类，实现了`FlatMapFunction`接口，其中的`flatMap`方法用于执行数据清洗逻辑。在`Main`类中，我们创建了一个Flink的执行环境，并读取了输入的数据流。然后，我们应用了`flatMap`操作，传入`DataCleaner`类的实例。最后，我们将清洗后的数据流进行打印输出。 请根据实际需求修改`DataCleaner`类中的数据清洗逻辑，并运行示例代码来进行数据清洗操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值