DataCleaner---5.8 参考数据匹配器

最新推荐文章于 2021-03-01 10:02:29 发布

lover_leo

最新推荐文章于 2021-03-01 10:02:29 发布

阅读量282

点赞数

分类专栏： DataCleaner 文章标签： java 运维大数据

本文链接：https://blog.csdn.net/weixin_43899418/article/details/113587298

版权

DataCleaner 专栏收录该内容

87 篇文章 3 订阅

订阅专栏

5.8 参考数据匹配器

参考数据匹配器(Reference data matcher)分析器提供了一种简单的方法，可以将多个列与多个字典和/或多个字符串模式进行匹配。结果是所有列和所有匹配资源的匹配信息矩阵。

点这儿返回DataCleaner中文文档主目录

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

lover_leo

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Python-datacleaner能对数据集进行自动清理以便进行数据分析

08-10

datacleaner-能对数据集进行自动清理, 以便进行数据分析

DataCleaner-monitor-api-4.0.10.zip

09-26

gridscale.zip,sshscala库，用于访问各种文件、批处理系统、作业调度程序和网格中间件。

参与评论您还未登录，请先登录后发表或查看评论

匹配数据匹配条件_将匹配器用于前提条件和后置条件

danpu0978的博客

05-24

503

匹配数据匹配条件对不起，来晚了。借口，借口。我觉得我一生中曾经在其他地方看到过这个东西，但是这个想法似乎并没有传播太多。通常，这可能是由于缺乏对前置条件和后置条件的吸引力。因此，我们将从这些开始。前提条件和后置条件前提条件和后置条件有些过时，已被TDD的泛滥所取代，但我认为不应完全排除它们。前提条件是您的函数对传递给它的参数的一组假设。当您接受“原始”类型时，...

datacleaner使用文档-170904-01

SunWuKong_Hadoop的博客

08-22

4899

第一部分： 1.添加组件： transformer analyzer filter （有存档） capture changed record：捕捉更改记录 data range：数据范围 2.datacleaner监视器（待补充·············）第二部分： 1。重

hbase regionserver总出现自动down的情况排查

热门推荐

TURING.DT

05-05

1万+

最近在调试hbase，10台节点，服务正常后，写入数据，总是出现regionserver自动down的情况，查看日志如下： 2016-05-04 13:29:09,690 WARN [regionserver/ma7.cloud/192.168.1.46:16020] wal.ProtobufLogWriter: Failed to write trailer, non-fatal, co

DataCleaner---10.3 参考数据

weixin_43899418的博客

02-23

184

10.3 参考数据参考数据参考数据项（字典、同义词目录和字符串模式）在配置文件中 < reference-data-catalog > 标签中定义。以下是一些例子：字典字典存储在reference data部分的 < dictionaries > 标签中。可以添加三种类型的词典。 Datastore dictionaries <reference-data-catalog> <dictionaries> ... <datast

DataCleaner---16.2 启动DataCleaner以分析Pentaho数据集成步骤

weixin_43899418的博客

03-01

294

16.2 启动DataCleaner以分析Pentaho数据集成步骤在Pentaho数据集成中，您可以通过右键单击转换的任何步骤来启动DataCleaner。这将启动DataCleaner，并预加载转换数据，准备进行分析。此功能要求安装用于Pentaho数据集成的数据分析插件。关于这一点的说明和进一步的文档保存在Pentaho的wiki页面：使用DataCleaner进行catter数据分析点这儿返回DataCleaner文档主目录 ...

DataCleaner---10.2 数据存储

weixin_43899418的博客

02-05

323

10.2 数据存储可以在元素标签 < datastore-catalog > 下的配置文件中配置数据存储。下面几节将详细介绍特定类型的数据存储。数据库（JDBC）连接下面是一些常见数据库类型的示例。提示！DataCleaner用户界面使得计算连接属性的url（连接字符串）和驱动程序类部分变得更加容易。如果你还不知道这些属性的话，这是一个很好的开始。 MySQL <jdbc-datastore name="MySQL datastore"> <url>jdbc:m

DataCleaner---17.1 数据存取

weixin_43899418的博客

03-01

287

17.1 数据存取在DataCleaner中，所有数据源都称为“数据存储”。这个概念既包括本地读取/解析的源，也包括 ‘connected to’ 的源，例如数据库和应用程序。一些数据存储也可以写入，例如关系数据库。 DataCleaner使用 Apache MetaModel framework 进行数据访问。从DataCleaner的角度来看，Apache元模型提供了许多特性：与不同数据存储交互的常用方式。一种编程查询语法，它抽象出特定于数据库的SQL方言，也可用于非面向SQL的数据存储（文件等

DataCleaner---5.13 值匹配

weixin_43899418的博客

02-03

193

5.13 值匹配值匹配器(Value matcher)的工作原理与值分布非常相似，只是它需要一个期望值列表，其他所有内容都放入一组 ‘unexpected values’ 中。这种值差异意味着两件事：你得到了一个内置的验证机制。您可能只希望 “gender” 列的值为“M”和“F”，出现其他所有值在某种意义上都是无效的。这种划分使得监视数据质量监视web应用程序中的特定值变得更容易。这个分析器对于大型数据集的伸缩性更好，因为分组是确定性的，因此可以在批处理运行中进行准备。 ...

DataCleaner-api-4.5.2.zip

09-26

标题 "DataCleaner-api-4.5.2.zip" 提示我们关注的是一个与数据清理相关的API，版本为4.5.2。DataCleaner是一个开源的数据质量工具，它允许用户清洗、验证和分析数据，确保数据的准确性和一致性。API部分通常包含供...

DataCleaner-csv-datastore-wizard-3.5.6.zip

10-14

DataCleaner-csv-datastore-wizard-3.5.6.zip这个压缩包文件是DataCleaner工具的一个版本，专注于CSV数据存储和向导功能。DataCleaner是一款强大的开源数据清理工具，它允许用户通过直观的界面来探索、清洗和验证...

DataCleaner中文文档

weixin_43899418的博客

01-21

4859

DataCleaner中文自编译文档DataCleaner中文自编译文档Ⅰ.DataCleaner简介1.背景和概念2.DataCleaner桌面版入门Ⅱ.组件分析3. Transform4. Improve 5. Analyze 6. WriteⅢ.数据参考 7. Dictionaries 8. Synonyms (aka. Synonym catalogs) 9. String patternsⅣ.相关配置 10. Configuration file 11. Analysis job files 1

DataCleaner简介1.1

weixin_43899418的博客

01-21

1558

什么是数据质量（DQ）？数据质量（Data Quality简称DQ）是一个概念和一个业务术语，涵盖了用于特定目的的数据的质量。DQ术语通常用于商业决策中使用的数据质量，但也可能指研究、活动、流程等中使用的数据质量。处理数据质量通常因项目而异，正如数据质量的问题有很大的不同。数据质量问题的例子包括：数据的完整性数据的正确性数据冗余数据统一/标准化数据质量分析（DQA）是检查特定过程或组织的数据质量的（人工）过程。DQA包括技术和非技术要素。例如，要做好DQA，您可能需要与用户、业务人员、合

DataCleaner简介1.4

weixin_43899418的博客

01-22

1458

什么是数据存储？数据存储(datastore)是存储数据的地方。企业数据通常存在于关系数据库中，但这一规则有许多例外。为了理解不同的数据源，例如数据库、电子表格、XML文件甚至标准业务应用程序，我们使用了数据存储这一总称。DataCleaner能够从非常广泛的数据存储中检索数据。此外，DataCleaner还可以更新大多数数据存储的数据。可以在UI中或通过配置文件创建数据存储。您可以从任何类型的源创建数据存储，例如：CSV、Excel、Oracle数据库、MySQL等。复合数据存储复合数据存储(.

DataCleaner入门2.1

weixin_43899418的博客

01-26

1378

2.1 安装客户端以下是安装DataCleaner的系统要求：电脑一台 jdk1.7及以上专业版的DataCleaner软件许可证文件。如果您要求免费试用或在线购买DataCleaner，此文件将发送到您的电子邮件地址。使用安装程序启动安装过程。安装程序是一个可执行的JAR文件，只要双击它，它在大多数系统上都是可执行的。就是启动一个jar文件。如果双击安装程序时安装程序未启动，请打开命令提示符并输入：java -jar DataCleaner-[edition]-[version]-inst

DataCleaner入门2.2-连接datastore

weixin_43899418的博客

01-26

822

连接数据存储下面是启动DataCleaner（桌面社区版）时显示的初始屏幕截图。通过单击屏幕底部的按钮，可以在“build new job”或“Manage datastores”屏幕中添加新的数据存储。可以使用左上角New按钮，添加文件数据存储（datastore）。下面是一些按钮，可以添加数据库或云服务。如果文件是使用拖放区添加的，则将保留其格式。“Manage datastores”按钮管理者着各种各样的数据存储记录。这个“数据存储管理Datastore management”屏幕-除了查

DataCleaner简介1.2

weixin_43899418的博客

01-21

554

什么是数据分析？数据分析（Data profiling）是调查数据存储以创建其“profile”的活动。有了数据存储的概要文件，您就可以更好地实际使用和改进它。分析的方式通常取决于您是否已经对数据的质量有了一些想法，或者您是否对手头的数据存储熟不熟练。无论哪种方式，我们都建议采用探索性的方法，因为尽管您认为只需要查找一定数量的问题，但根据我们的经验（以及DataCleaner的许多特性背后的推理），检查数据中您认为正确的项目细节同样重要！一般来说，在你的分析中加入更多的数据可能会有意想不到的结果，更节省

DataCleaner入门2.3-向job中添加组件

weixin_43899418的博客

01-26

535

2.3 向job中添加组件有几种不同类型的组件可以添加到job中： Analyzers (分析器)，这是最重要的组件。实际上，job要运行成功至少得有一个分析器(Analyze)（如果执行作业时没有添加分析器，DataCleaner将建议添加一个基本分析器，将输出保存到文件中）。分析器是一个组件，它检查它接收到的数据并生成结果或报告。大多数的数据分析都是分析器来创建的。 Transformers(转换器)，是用于在分析数据之前修改数据的组件。有时有必要提取一个值的一部分或将两个值组合起来，以便正确地了解