datacleaner第六部分

最新推荐文章于 2024-05-15 09:49:54 发布
最新推荐文章于 2024-05-15 09:49:54 发布
阅读量847 收藏 1
点赞数 1
分类专栏： datacleaner

第六部分,DataCleaner监视web服务

表的内容

17所示。工作引发
触发服务 轮询执行状态
18岁。库导航
工作文件 结果文件 上传内容存储库 修改结果的元数据 重命名工作 复制工作 删除工作
19所示。度量web服务
指标的背景 可用的指标列表 特定的度量指标的值
20。原子转换(数据清洗服务)
原子转换服务是什么? 调用原子转换

第十七章。工作引发

文摘

DataCleaner网络监视器通常处理的调度工作,但有时你需要手动触发。有时需要手动触发他们的第三方系统。

在这一章,一个web服务引发DataCleaner DataCleaner监视web应用程序的工作是解释说。

表的内容

触发服务 轮询执行状态

触发服务

web服务可及的HTTP URL:

/DataCleaner-monitor/repository/{tenant}/jobs/{job}.trigger

从触发器web服务的响应是一个JSON文档看起来像这样:

{ "status":"PENDING", "logOutput":null, "endDate":null, "beginDate":null, "resultId":"Customer completeness-1349876418933", "triggeredBy":"admin" }

选择这些参数还可以添加:

参数 描述
块 设置为“真正的”如果服务器应该等到回应之前执行的工作。这将确保客户能够阅读“地位”,要么是“成功”或“失败”(除非出现超时)。
timeoutMillis 在结合使用“块”。设置的最大响应之前等待的毫秒数。

使用这些参数,一个典型的反应是这样的:

{ "status":"SUCCESS", "logOutput": "2012-10-10 16:04:02 - Job execution BEGIN\n 2012-10-10 16:04:02 - Row processing of table Table[name=CUSTOMERS,type=TABLE,remarks=null] BEGIN\n - Query: SELECT \"CUSTOMERS\".\"PHONE\", \"CUSTOMERS\".\"POSTALCODE\", \"CUSTOMERS\".\"ADDRESSLINE1\", \"CUSTOMERS\".\"COUNTRY\", \"CUSTOMERS\".\"CUSTOMERNUMBER\", \"CUSTOMERS\".\"CONTACTFIRSTNAME\", \"CUSTOMERS\".\"CITY\", \"CUSTOMERS\".\"CUSTOMERNAME\", \"CUSTOMERS\".\"CONTACTLASTNAME\" FROM PUBLIC.\"CUSTOMERS\"\n - Expected row count: 133\n 2012-10-10 16:04:02 - Row processing of table Table[name=CUSTOMERS,type=TABLE,remarks=null] SUCCESS\n 2012-10-10 16:04:02 - Result gathered from analyzer: ImmutableAnalyzerJob[name=null,analyzer=Completeness analyzer]\n 2012-10-10 16:04:03 - Job execution SUCCESS", "endDate":"Wed Oct 10 16:04:03 CEST 2012", "beginDate":"Wed Oct 10 16:04:02 CEST 2012", "resultId":"Customer completeness-1349877840924", "triggeredBy":"admin" }

轮询执行状态

通常是不实际使用“块”服务参数,如果工作是一项长期的工作。而不是您可以检索作业执行URL使用此服务的状态:

/DataCleaner-monitor/repository/{tenant}/logs/{resultId}

resultId的URL在这一部分想匹配的resultId来自触发器服务的反应。

服务的响应将执行状态的XML表示。例如:

<ns4:execution-log xmlns="http://eobjects.org/datacleaner/schedule/1.0" xmlns:ns2="http://eobjects.org/datacleaner/shared/1.0" xmlns:ns3="http://eobjects.org/datacleaner/timeline/1.0" xmlns:ns4="http://eobjects.org/datacleaner/execution-log/1.0"> <ns4:result-id>Customer duplicates-1347004507995</ns4:result-id> <ns4:job-begin-date>2012-09-07T09:55:10.607+02:00</ns4:job-begin-date> <ns4:job-end-date>2012-09-07T09:55:19.661+02:00</ns4:job-end-date> <ns4:execution-status>SUCCESS</ns4:execution-status> <ns4:trigger-type>MANUAL</ns4:trigger-type> <ns4:triggered-by>admin</ns4:triggered-by> <schedule> <alerts/> </schedule> <ns4:log-output> 2012-09-07 09:55:10 - Job execution BEGIN 2012-09-07 09:55:10 - Row processing of table Table[name=CUSTOMERS,type=TABLE,remarks=null] BEGIN - Query: SELECT "CUSTOMERS"."PHONE", "CUSTOMERS"."STATE", "CUSTOMERS"."POSTALCODE", "CUSTOMERS"."ADDRESSLINE1", "CUSTOMERS"."ADDRESSLINE2", "CUSTOMERS"."COUNTRY", "CUSTOMERS"."CUSTOMERNUMBER", "CUSTOMERS"."CONTACTFIRSTNAME", "CUSTOMERS"."CITY", "CUSTOMERS"."CUSTOMERNAME", "CUSTOMERS"."CONTACTLASTNAME" FROM PUBLIC."CUSTOMERS" - Expected row count: 130 2012-09-07 09:55:12 - Row processing of table Table[name=CUSTOMERS,type=TABLE,remarks=null] SUCCESS 2012-09-07 09:55:12 - Result gathered from analyzer: ImmutableAnalyzerJob[name=null,analyzer=Duplicate detection] 2012-09-07 09:55:19 - Job execution SUCCESS </ns4:log-output> </ns4:execution-log>

第18章。库导航

文摘

在这一章里,我们将学习如何使用web服务url导航DataCleaner储存库。存储库可以在根DataCleaner监视web应用程序的水平。访问当然是局限于租户的主文件夹。因此,所有这些web服务位于url从形式:

/DataCleaner-monitor/repository/DC/...

其中“直流”是租户标识符和DataCleaner-monitor是web应用程序归档文件的名称。

表的内容

工作文件 结果文件 上传内容存储库 修改结果的元数据 重命名工作 复制工作 删除工作

工作文件

工作文件是可用的保留文件夹名称“工作”。让所有的工作文件清单(以JSON格式),至:

/DataCleaner-monitor/repository/DC/jobs

其中“直流”是租户标识符和DataCleaner-monitor是web应用程序归档文件的名称。

结果将像这个例子的结果:

[ {"repository_path":"/DC/jobs/Contributor name cleansing.analysis.xml", "name":"Contributor name cleansing","filename":"Contributor name cleansing.analysis.xml"}, {"repository_path":"/DC/jobs/Customer completeness.analysis.xml", "name":"Customer completeness","filename":"Customer completeness.analysis.xml"}, {"repository_path":"/DC/jobs/Customer duplicates.analysis.xml", "name":"Customer duplicates","filename":"Customer duplicates.analysis.xml"}, {"repository_path":"/DC/jobs/product_profiling.analysis.xml", "name":"product_profiling","filename":"product_profiling.analysis.xml"} ]

进一步导航到一个存储库路径,你可以阅读完整的XML描述的工作,如所描述的分析工作文件一章:

/DataCleaner-monitor/repository/DC/jobs/product_profiling.analysis.xml

“直流”租户标识符的地方,“product_profiling”工作和“DataCleaner-monitor”的名字是web应用程序存档的名字。

结果文件

结果文件中可用保留文件夹名称“结果”。让所有的工作文件清单(以JSON格式),至:

/DataCleaner-monitor/repository/DC/results

其中“直流”是租户标识符和DataCleaner-monitor是web应用程序归档文件的名称。

结果将像这个例子的结果:

[ {"repository_path":"/DC/results/Customer completeness-1345128427583.analysis.result.dat", "filename":"Customer completeness-1345128427583.analysis.result.dat"}, {"repository_path":"/DC/results/Customer completeness-1345200106074.analysis.result.dat", "filename":"Customer completeness-1345200106074.analysis.result.dat"} ]

进一步导航到一个存储库的路径,你将能够检查分析结果,显示在HTML格式。

/DataCleaner-monitor/repository/DC/results/Customer completeness-1345200106074.analysis.result.dat

“直流”租户标识符的地方,“客户完整性”是工作的名称,“1345200106074”是结果的时间戳和“DataCleaner-monitor”是web应用程序存档的名字。

上传内容存储库

文件可以使用HTTP POST上传请求上载到存储库中。可上传的文件的类型是:

  1. (.analysis DataCleaner工作。xml文件)使用这个URL模板,上传:

    POST /DataCleaner-monitor/repository/{tenant}/jobs/{job}.analysis.xml

    请求参数的文件是一个多部分文件包含新工作文件的内容。

  2. (.analysis.result DataCleaner结果。dat文件)使用这个URL模板,上传:

    POST /DataCleaner-monitor/repository/{tenant}/results/{result}.analysis.result.dat

    请求参数的文件是��个多部分文件包含新的结果文件的内容。

  3. 配置(conf.xml文件)使用这个URL模板,上传:

    POST /DataCleaner-monitor/repository/{tenant}/conf.xml

    请求参数的文件是一个多部分文件包含配置文件的内容。

修改结果的元数据

在某些情况下,您可以有结果DataCleaner监控存储库中没有正确配置。特别是我们有时看到这些情况:

  1. 的注册日期的结果可能不是正确的,如果结果是比它所代表的数据在稍后的时间。

  2. 相关工作的名称是错误的,如果从桌面应用程序,但结果是上传客户端工作的引用。

为了解决这种情况,有一个结果修改web服务可用。服务需要管理的安全角色。

请求URL的URL是一样的检查结果,但.analysis.result。dat”被替换为“.modify”:

POST /DataCleaner-monitor/repository/{tenant}/results/{result}.modify

POST请求的身体需要一个JSON文档,指定新的结果的元数据文件。这里有一个例子:

{ "job":"name of new job", "date":"2012-10-17 21:47:00", "overwrite":true }

重命名工作

重命名工作DataCleaner监控存储库是修改可能通过专用网络服务的工作。

请求URL相同的URL vieweing工作XML,但是.analysis。xml”被替换为“.modify”:

POST /DataCleaner-monitor/repository/{tenant}/jobs/{job}.modify

POST请求的身体需要一个JSON文档,指定新的结果的元数据文件。这里有一个例子:

{ "name":"new name of job", "overwrite":true }

复制工作

DataCleaner监控存储库中复制一份工作是复制可能通过专用网络服务的工作。

请求URL相同的URL vieweing工作XML,但是.analysis。xml”被替换为“.copy”:

POST /DataCleaner-monitor/repository/{tenant}/jobs/{job}.copy

POST请求的身体需要一个JSON文档,指定新的结果的元数据文件。这里有一个例子:

{ "name":"name of copy " }

删除工作

DataCleaner监控存储库中删除一个工作是删除可能通过专用网络服务的工作。

请求URL相同的URL vieweing工作XML,但是.analysis。xml”被替换为“delete”:

还请注意, 所有相关的结果,时间表和日程将被删除,删除工作。

POST /DataCleaner-monitor/repository/{tenant}/jobs/{job}.delete

POST请求不需要参数或身体的信息。

19章。度量web服务

文摘

使用web服务访问数据质量标准也可能使用DataCleaner监视器。在这一章里,我们将解释。

表的内容

指标的背景 可用的指标列表 特定的度量指标的值

指标的背景

数据质量标准都包含在结果文件。根据产生结果的工作,结果可能包含不同的指标。例如,如果你有一个值分布分析仪的工作,你的结果会公开“价值”指标(以及更多)。

事情进一步复杂化,一些指标参数化。一个度量可以参数化 列名或者一个 查询字符串。例如,一些分析程序(如字符串分析仪或数字分析仪)记录指标同时为多个列。检索指标从这些分析需要提供一列名称作为一个参数。其他指标的“价值”度量值分布需要一个字符串参数,指定值的计算。

可用的指标列表

得到一系列指标暴露于一个特定的结果,使用以下URL模式:

GET /DataCleaner-monitor/repository/DC/results/[resultname].metrics

这里有一个例子的结果:

[ {"children":null,"analyzerDescriptorName":"Completeness analyzer","metricDescriptorName":"Row count", "analyzerName":null,"analyzerInputName":null,"parameterizedByColumnName":false,"parameterizedByQueryString":false, "metricDisplayName":null,"metricColor":null,"formula":null,"paramColumnName":null,"paramQueryString":null}, {"children":null,"analyzerDescriptorName":"Completeness analyzer","metricDescriptorName":"Valid row count", "analyzerName":null,"analyzerInputName":null,"parameterizedByColumnName":false,"parameterizedByQueryString":false, "metricDisplayName":null,"metricColor":null,"formula":null,"paramColumnName":null,"paramQueryString":null}, {"children":null,"analyzerDescriptorName":"Completeness analyzer","metricDescriptorName":"Invalid row count", "analyzerName":null,"analyzerInputName":null,"parameterizedByColumnName":false,"parameterizedByQueryString":false, "metricDisplayName":null,"metricColor":null,"formula":null,"paramColumnName":null,"paramQueryString":null} ]

从指标列表中我们可以看到,携带3度量的结果 完整性分析仪。这个分析器只暴露了一些基本指标,这使得它一个很好的例子,但大多数其他分析仪暴露更多。

特定的度量指标的值

使用可用的指标我们之前看到的,我们可以构建自己的感兴趣的指标列表。这个列表可以发送到相同的URL的HTTP POST请求:

POST /DataCleaner-monitor/repository/DC/results/[resultname].metrics

作为请求体我们需要提供我们感兴趣的指标列表。Null值可以被排除在外。例如:

[ {"analyzerDescriptorName":"Completeness analyzer","metricDescriptorName":"Valid row count"}, {"analyzerDescriptorName":"Completeness analyzer","metricDescriptorName":"Invalid row count"} ]

这将返回一个响应如下:

{ "metricDate":1346154850730, "metricValues":[ {"displayName":"Valid row count","value":123}, {"displayName":"Invalid row count","value":19}] }

第20章。原子转换(数据清洗服务)

文摘

在这一章里,我们将学习如何使用DataCleaner监视器作为web服务调用DataCleaner工作需/动态数据清理操作。像导航库的情况下,这些web服务位于url从形式:

/ DataCleaner-monitor /仓库/ DC /…

其中“直流”是租户标识符和DataCleaner-monitor是web应用程序归档文件的名称。

表的内容

原子转换服务是什么? 调用原子转换

原子转换服务是什么?

DataCleaner工作通常作用于批记录,例如所有的记录在一个CSV文件。然而,任何DataCleaner工作也可以用来处理单记录。这一特性称为“原子转换”。这种转换可以作为数据处理管道在SOA架构的一部分或在web应用程序中灵活的数据处理需求。

创建一个原子转换是很容易的。可以使用任何DataCleaner工作执行原子转换。简单地创建一个工作做一些转换(从一个简单的字符串长度的操作到一个完整的链地址清洗和正则表达式解析),和工作在DataCleaner监控存储库中。专门的web服务端点将自动使用工作作为一个原子转换。端点URL将:

/DataCleaner-monitor/repository/DC/jobs/[jobname].invoke

调用原子转换

原子转换调用服务的合同是动态的,根据合同所定义的源数据和转换数据的工作。

web服务是基于JSON数据。您需要提供相对应的JSON数据的原始记录格式的工作。

例如,假设一个工作,定义以下JavaScript变换有两个源列(POSTALCODE和国家):

web服务将因此希望每个JSON记录包含两个值。服务接收一个或多个记录在它的有效载荷。使用一个HTTP POST的身体像这样(3记录和2列):

{"rows":[ {"values":["2200","DK"]}, {"values":["2200",""]}, {"values":["DK2200","DK"]} ]}

和产生的响应的身体是这样的:

{ "rows":[ {"values":["DK2200"]}, {"values":["2200"]}, {"values":["DK2200"]} ], "columns":[ "Country postalcode" ] }

注意,请求的内容类型的头��假定为application / json。

SunWuKong_Hadoop
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据清洗（data cleaning）
BDM_Su的博客
03-12 5690
大数据数据清洗（data cleaning）定义1. 缺省值2. 噪声实际过程1. 偏差检测（disrepancy detection）2.数据变换3.迭代执行步骤1和2 定义 现实世界的数据一般是不完整的，有噪声的和不一致的，数据清洗试图填充缺失的值，光滑噪声并识别离群点，纠正数据中的不一致 所以根据定义，主要有两种值需要进行数据清洗： 1. 缺省值 可以使用回归，贝叶斯或者决策树，通过已有数据...
数据清洗(Data Cleaning)
热门推荐
lionzl的专栏
01-15 1万+
数据清洗 数据清洗(Data Cleaning) 目录 [隐藏] 1 什么是数据清洗[1]2 数据清洗原理[2]3 数据清洗的实现方式与范围[2]4 数据清洗的方法[3]5 相关条目6 参考文献 [编辑] 什么是数据清洗[1] 　　数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无
推荐项目：datacleaner——数据清洗的得力助手
最新发布
gitblog_00044的博客
05-15 316
推荐项目：datacleaner——数据清洗的得力助手 项目地址:https://gitcode.com/rhiever/datacleaner 项目简介 datacleaner 是一个基于 Python 的工具，专为自动清理和准备数据分析的数据集而设计。这个库不是魔法，但能显著节省你在编码和数据预处理上的时间，特别是当你已经拥有可被 pandas DataFrame 处理的数据时。 项目技术分析...
数据清洗
m0_46338330的博客
06-08 804
什么是数据清洗 数据清洗(Data cleaning) 对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。 数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。我们要按照
data cleaning
acoikw2620的博客
03-23 364
Cleaning data in Python Table of Contents Set up environments Data analysis packages in Python Clean data in Python Load dataset into Spyder Subset Drop data Transform d...
数据清洗（Data Cleansing）
meimei169500的博客
05-14 2366
数据清洗（Data Cleansing）是指对数据进行处理和纠错，以去除或修复数据集中存在的错误、不致、不完整和冗余的数据，从而使数据更加准确、可靠和有用。数据清洗是数据处理和数据分析中一个非常重要的步骤，它可以帮助我们提高数据的质量，从而提高数据分析和机器学习的准确性和可靠性。数据清洗是一个重要的过程，它可以帮助我们提高数据的质量，从而提高数据分析和机器学习的准确性和可靠性。在实际应用中，我们可以使用一些工具和技术来实现数据清洗，例如 Pandas、NumPy 和 OpenRefine 等。通过数据清洗，
DataCleaner
02-27
DataCleaner 是一个数据质量分析,比较,验证和监督的软件.DataCleaner包括一个独立的图形用户界面分析,比较和验证,并进行监测web应用 DataCleaner 是一个数据质量分析,比较,验证和监督的软件.DataCleaner包括一个独立...
DataCleaner中文官方文档1
08-08
Transform组件是DataCleaner的核心部分，用于执行数据转换任务，如字符串处理、数值计算、日期转换等。用户可以根据需求创建复杂的转换规则，以实现精准的数据清洗。 总结来说，DataCleaner是数据质量管理的重要...
datacleaner学习文档2
08-08
DataCleaner关注数据的六个核心质量指标： - 完整性(Completeness)：评估数据缺失情况。 - 规范性(Conformity)：衡量数据是否遵循统一格式。 - 一致性(Consistency)：检测数据值的逻辑冲突。 - 准确性(Accuracy)...
datacleaner学习文档1
08-08
6. **xml-config**：处理读写任务文件和配置文件的清理工具。 7. **env**：支持不同或替代环境的模块，如Apache Spark和webapp-cluster。 8. **components**：包含了多个子模块，其中包含内置组件和与DataCleaner...
data cleaning(数据清洗) 课程笔记
a130737的专栏
08-11 4646
该课程主要在使用ML， data mining 等数据分析技术zhi
datacleaning
06-23
在运行脚本之前，下载数据并在工作目录中解压。 脚本中有5个部分： 读入数据 结合 X、Y 和科目结合训练、测试 提取作为均值和标准的特征。 重命名列 计算每个活动和每个主题的每个变量的平均值。
Data_Cleaning:数据_清理
06-28
数据_清理 此 R 脚本执行以下操作： 合并训练集和测试集以创建一个数据集。 仅提取每个测量值的平均值和标准偏差的测量值。 使用描述性活动名称来命名数据集中的活动。 使用描述性活动名称适当地标记数据集。 使用每个活动和每个主题的每个变量的平均值创建第二个独立的整洁数据集。
Data-Cleaner:准备数据以分析和训练预测模型！
03-21
数据清理器 该工具可用于在使用前清除您的数据集！轻松处理类型错误，缺少值以及即将推出的更多错误！ 前： 后： 使用脚本的步骤： 从此仓库下载datacleaner.py 确保您的计算机上安装了python 只需按照脚本注释中编写的步骤操作，即可高效，准确地清除所需的代码！ （即将推出的网络应用程序，可以更轻松地访问和使用！）
datacleaner 数据质量管理软件
11-26
数据质量管理分析软件，运用于数据仓库数据分析校验
Datacleaner
10-12 1670
Datacleaner的使用过程： 1选定一个数据库， 1建立分析流程：必须含有分析环节; 1分析结果展示 1分析过程存储   建立分析流程： 分析过程包括：过滤转换分析 过滤类型；Dictionarylookup,equals,javaScript,Max re
[Kaggle Courses]数据清洗 Data Cleaning
m0_55905751的博客
09-02 539
一、简介 二、数据鸟瞰 三、标准化和归一化 四、时间处理 五、字符处理 六、不一致的数据输入
数据清洗利器：DataCleaner 全面解析
gitblog_00091的博客
04-16 662
数据清洗利器：DataCleaner 全面解析 项目地址:https://gitcode.com/datacleaner/DataCleaner 项目简介 DataCleaner 是一个强大的开源数据清洗工具，旨在帮助数据分析师、科学家和工程师有效地处理脏数据问题。该项目提供了一种直观的图形用户界面，使得非编程背景的用户也能轻松上手，并且为有经验的开发者提供了丰富的API以进行更深度的操作。 技术...
DataCleaner数据质量分析工具深度指南
5. engine/core是DataCleaner的核心部分，实现了作业和组件的执行逻辑。 6. xml-config模块用于读写任务文件和配置文件，帮助用户定义数据清理规则。 7. env模块支持在不同的环境（如Apache Spark或webapp-cluster）...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值