DataCleaner---3.2 调用子分析job

最新推荐文章于 2021-03-02 17:29:47 发布
最新推荐文章于 2021-03-02 17:29:47 发布
阅读量172 收藏
点赞数
分类专栏： DataCleaner 文章标签： 运维 java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43899418/article/details/113503538
版权

3.2 调用子分析job

通过这种转换，可以组成一个嵌入另一个保存的作业的功能的作业。
所调用的作业将从其分析部分剥离，这意味着只保留转换。这样，您就可以将复杂的转换流拆分为更小的部分—每个部分都表示为一个作业文件。
要配置转换，请从当前作业的数据源中选择需要通过管道传输到子作业的列。所选列的数量必须与子作业中定义的列的数量相同。系统会自动监测，否则无法进行转换。


点这儿返回DataCleaner中文文档主目录

lover_leo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DataCleaner:数据质量分析，分析，清理，重复检测+更多-开源
04-29
DataCleaner是数据质量分析应用程序，是DQ解决方案的解决方案平台。 它的核心是强大的数据分析引擎，该引擎可扩展，从而增加了数据清除，转换，扩充，重复数据删除，匹配和合并的功能。 网站：http：//datacleaner.github.io
DataCleaner-monitor-api-4.0.10.zip
09-26
《DataCleaner-monitor-api-4.0.10.zip：深入了解开源项目Gridscale与SSHScala库》 在当今数字化时代，数据的清洗和监控成为数据分析领域的重要环节。"DataCleaner-monitor-api-4.0.10.zip" 文件提供了一个强大的...
DataCleaner---16.2 启动DataCleaner以分析Pentaho数据集成步骤
weixin_43899418的博客
03-01 264
16.2 启动DataCleaner以分析Pentaho数据集成步骤 在Pentaho数据集成中，您可以通过右键单击转换的任何步骤来启动DataCleaner。这将启动DataCleaner，并预加载转换数据，准备进行分析。 此功能要求安装用于Pentaho数据集成的数据分析插件。关于这一点的说明和进一步的文档保存在Pentaho的wiki页面：使用DataCleaner进行catter数据分析 点这儿返回DataCleaner文档主目录 ...
DataCleaner---18.1 步骤和选项概述
weixin_43899418的博客
03-01 255
18.1 步骤和选项概述 这个故事有两个变体-你想要什么样的配置选项？您希望以编程方式构建作业，还是将其作为一个.analysis.xml文件放在磁盘上的某个位置？您将对结果进行任何处理，还是作业本身包含所有必要的逻辑。 下图描述了各种步骤和选项。在以下部分中，我们将逐一介绍图中的4个步骤/列： 点这儿返回DataCleaner文档主目录 ...
DataCleaner---14.3 执行分析job
weixin_43899418的博客
02-25 140
14.3 执行分析job 下面是如何执行分析作业-我们将使用捆绑的示例作业"employees.analysis.xml": > datacleaner-console.exe -job examples/employees.analysis.xml SUCCESS! ... RESULT: Value distribution for column: REPORTSTO Top values: - 1102: 6 - 1143: 6 - 1088: 5 Null count: 0 Uniq
DataCleaner---14.5 参数化job
weixin_43899418的博客
02-25 172
14.5 参数化job 如果要使作业的一部分可参数化/变量化，则可以这样做。目前，这是一项仅通过编辑支持的功能。分析.xml文件，因为DataCleaner图形用户界面在保存作业时不存储作业变量。 在作业的源代码部分，可以添加变量，这些变量是将在整个作业中引用的键/值对。每个变量都可以有一个默认值，在未指定变量值的情况下将使用该值。下面是一个简单的例子： ... <source> <data-context ref="my_datastore" /> <columns
DataCleaner---5.1 布尔分析器
weixin_43899418的博客
02-02 367
5.1 布尔分析器 布尔分析器(Boolean analyzer)是针对布尔值(Boolean)的分析器。对于单个布尔值的数据列，它非常简单：它将显示列中 true/false 值的分布还有空值的分布。对于几个列，它还将显示值的组合和组合的频率。组合矩阵使布尔分析器成为一个方便的分析器，用于匹配转换器(transformer)和其他产生布尔值的转换器的组合。 除了输入列之外，布尔分析器没有任何配置参数。 ...
DataCleaner---5.6 数字分析器
weixin_43899418的博客
02-02 488
5.6 数字分析器 数字分析器(Number analyzer)为数字列类型提供通用分析度量。
DataCleaner---21 嵌入DataCleaner
weixin_43899418的博客
03-02 425
21 嵌入DataCleaner 可以将DataCleaner嵌入到其他Java应用程序中。这允许一种简单的方法来添加数据质量分析（DQA）和数据分析功能，作为对正在构建的应用程序的补充。 嵌入DataCleaner最简单的方法就是执行DataCleaner的主可执行文件所做的操作—用默认参数实例化引导类： BootstrapOptions bootstrapOptions = new DefaultBootstrapOptions(args); Bootstrap bootstrap = new Boot
DataCleaner---5.10 字符串分析器
weixin_43899418的博客
02-03 332
5.10 字符串分析器 字符串分析器(String analyzer)为字符串列类型提供通用分析度量。字符串分析器特别关注的是单词、字符、特殊符号、音调符号和其他度量的数量，这些对于理解数据中出现的字符串值的类型至关重要。 ...
DataCleaner-api-4.5.2.zip
09-26
标题 "DataCleaner-api-4.5.2.zip" 提示我们关注的是一个与数据清理相关的API，版本为4.5.2。DataCleaner是一个开源的数据质量工具，它允许用户清洗、验证和分析数据，确保数据的准确性和一致性。API部分通常包含供...
DataCleaner-core-3.6.zip
10-12
halreader.zip,hal+json库包装halbuilder（https://github.com/halbuilder）hal-json解析器库包装halbuilder（https://github.com/halbuilder）
DataCleaner中文文档
weixin_43899418的博客
01-21 4726
DataCleaner中文自编译文档DataCleaner中文自编译文档Ⅰ.DataCleaner简介1.背景和概念2.DataCleaner桌面版入门Ⅱ.组件分析3. Transform4. Improve 5. Analyze 6. WriteⅢ.数据参考 7. Dictionaries 8. Synonyms (aka. Synonym catalogs) 9. String patternsⅣ.相关配置 10. Configuration file 11. Analysis job files 1
DataCleaner简介1.1
weixin_43899418的博客
01-21 1508
什么是数据质量（DQ）？ 数据质量（Data Quality简称DQ）是一个概念和一个业务术语，涵盖了用于特定目的的数据的质量。DQ术语通常用于商业决策中使用的数据质量，但也可能指研究、活动、流程等中使用的数据质量。 处理数据质量通常因项目而异，正如数据质量的问题有很大的不同。 数据质量问题的例子包括： 数据的完整性 数据的正确性 数据冗余 数据统一/标准化 数据质量分析（DQA）是检查特定过程或组织的数据质量的（人工）过程。DQA包括技术和非技术要素。例如，要做好DQA，您可能需要与用户、业务人员、合
DataCleaner简介1.4
weixin_43899418的博客
01-22 1406
什么是数据存储？ 数据存储(datastore)是存储数据的地方。企业数据通常存在于关系数据库中，但这一规则有许多例外。 为了理解不同的数据源，例如数据库、电子表格、XML文件甚至标准业务应用程序，我们使用了数据存储这一总称。DataCleaner能够从非常广泛的数据存储中检索数据。此外，DataCleaner还可以更新大多数数据存储的数据。 可以在UI中或通过配置文件创建数据存储。您可以从任何类型的源创建数据存储，例如：CSV、Excel、Oracle数据库、MySQL等。 复合数据存储 复合数据存储(.
DataCleaner入门2.1
weixin_43899418的博客
01-26 1321
2.1 安装客户端 以下是安装DataCleaner的系统要求： 电脑一台 jdk1.7及以上 专业版的DataCleaner软件许可证文件。如果您要求免费试用或在线购买DataCleaner，此文件将发送到您的电子邮件地址。 使用安装程序启动安装过程。安装程序是一个可执行的JAR文件，只要双击它，它在大多数系统上都是可执行的。就是启动一个jar文件。 如果双击安装程序时安装程序未启动，请打开命令提示符并输入：java -jar DataCleaner-[edition]-[version]-inst
DataCleaner入门2.2-连接datastore
weixin_43899418的博客
01-26 760
连接数据存储 下面是启动DataCleaner（桌面社区版）时显示的初始屏幕截图。通过单击屏幕底部的按钮，可以在“build new job”或“Manage datastores”屏幕中添加新的数据存储。 可以使用左上角New按钮，添加文件数据存储（datastore）。下面是一些按钮，可以添加数据库或云服务。 如果文件是使用拖放区添加的，则将保留其格式。“Manage datastores”按钮管理者着各种各样的数据存储记录。 这个“数据存储管理Datastore management”屏幕-除了查
DataCleaner简介1.2
weixin_43899418的博客
01-21 519
什么是数据分析？ 数据分析（Data profiling）是调查数据存储以创建其“profile”的活动。有了数据存储的概要文件，您就可以更好地实际使用和改进它。 分析的方式通常取决于您是否已经对数据的质量有了一些想法，或者您是否对手头的数据存储熟不熟练。无论哪种方式，我们都建议采用探索性的方法，因为尽管您认为只需要查找一定数量的问题，但根据我们的经验（以及DataCleaner的许多特性背后的推理），检查数据中您认为正确的项目细节同样重要！一般来说，在你的分析中加入更多的数据可能会有意想不到的结果，更节省
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值