Datacleaner译文修改版目录

最新推荐文章于 2024-04-16 09:44:00 发布
最新推荐文章于 2024-04-16 09:44:00 发布
阅读量1.1k 收藏
点赞数
分类专栏： 大数据 datacleaner

参考文档

4.5

版权©2008 - 2015

本文档的副本可以供自己使用和分发给别人,只要你不收取任何费用(副本和进一步提供,每个副本包含版权声明,是否分布在打印或电子。

表的内容

即DataCleaner概论
1。背景和概念
数据质量(DQ)是什么? 什么是数据分析? 什么是数据整理？ 什么是数据存储?
综合数据存储
什么是数据监控? 主数据管理(MDM)是什么?
2。开始使用DataCleaner桌面
安装桌面应用程序 连接到你的数据存储 将组件添加到工作 将组件结合在一起
Transformer  输出 过滤器的要求 输出数据流
执行工作 Saving and opening jobs 模板工作 洁净的数据写入文件
3。开始使用DataCleaner监视器
安装监视web应用程序 在Windows上创建资源文件夹
 连接到你的datastore 建立一个工作 调度工作 在仪表板上添加度量图表
二。分析组件引用
4。Transform
JavaScript transformer 调用子分析工作 Equals 最大行 非空 Union
5。Improve
重复检测
“模型训练 （Model training）”模式 “检测（Detection）模式 未经训练的检测（Untrained detection）模式
合并复制
合并复制 结论
同义词查找 DE movers and deceased check 
地址和邮件抑制数据源 输出
英国搬家公司、死亡和邮件首选项检查
地址和邮件抑制数据源 输出
我们搬家公司,死者和do-not-mail检查
地址和邮件抑制数据源 输出
查表 国家标识符 姓名和地址更正
6。分析，分解
逻辑分析仪 完整性分析仪 字符集分布 日期差距分析仪 日期/时间分析器 数字分析仪 模式搜索 参考数据匹配器 参照完整性 字符串分析仪 唯一键检查 值分布 价值匹配器 工作日的分布
7。写
创建CSV文件 创建Excel电子表格 创建临时表 插入表 更新表
三。参考数据
8。字典 9。同义词(又名。同义词目录)
同义词的文本文件目录 数据存储同义词目录
10。字符串的模式
四。配置参考
11。配置文件
XML模式 数据存储
数据库(JDBC)连接 逗号分隔值(CSV)文件 固定宽度值文件 Excel电子表格 XML文件数据存储 ElasticSearch指数 MongoDB数据库 CouchDB数据库 综合数据存储
参考数据
字典 同义词目录 字符串的模式
任务 runner 存储 provider
12。分析工作文件
XML schema 源节
13。日志记录
日志配置文件 默认的日志配置 修改日志级别 选择日志输出
14。数据库驱动程序
安装在DataCleaner桌面数据库驱动程序 安装数据库驱动程序在DataCleaner监视器
五。DataCleaner监控存储库
15。存储库配置
配置存储库位置
目录的存储库 数据库支持的库
提供已签署的Java WebStart客户端文件
制造已签名的jar 配置DataCleaner监视器以使用已签名的jar
集群配置(分布式执行)
16。仓库布局
多租户的布局 租户家里的布局
VI。DataCleaner监视web服务
17。工作引发
触发服务 轮询执行状态
18。库导航
工作文件 结果文件 上传内容存储库 修改结果的元数据 重命名工作 复制工作 删除工作
19。度量web服务
指标的背景 可用的指标列表 特定的度量指标的值
20。原子转换(数据清洗服务)
原子转换服务是什么? 调用原子转换
七。从命令行调用DataCleaner工作
21。命令行界面
可执行文件 使用场景 执行分析工作 清单数据存储内容和可用的组件 可参数化的工作 动态覆盖配置元素 22。Apache Hadoop和Spark接口
Hadoop部署概述 设置Spark和DataCleaner环境
上载配置文件到HDFS 上传作业文件到HDFS 将可执行文件上传到HDFS
使用Spark启动DataCleaner作业 使用Hadoop DataCleaner桌面
配置Hadoop集群 CSV数据存储在HDFS Hadoop集群上运行作业
使用Hadoop DataCleaner监视器
CSV数据存储在HDFS Hadoop集群上运行作业
Hadoop接口的局限性
八。第三方集成
22。Pentaho集成
配置DataCleaner Pentaho数据集成 发射DataCleaner概要Pentaho数据集成的步骤 运行Pentaho在DataCleaner监控数据集成工作 运行在Pentaho DataCleaner工作数据集成
九。开发人员指南
23。体系结构
数据访问 处理框架
24。通过代码执行的工作
概述的步骤和选项 步骤1:配置 步骤2:工作 步骤3:执行 步骤4:结果
25。开发人员资源
扩展开发教程 建筑DataCleaner
26岁。扩展包装
带注释的组件 单一JAR文件 扩展元数据的XML 组件的图标
27。扩展包装
带注释的组件 单一JAR文件 扩展元数据的XML

组件的图标

28。嵌入DataCleaner
SunWuKong_Hadoop
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
日志记录1
08-08
2.通过本地断点启动项目，讨论了一下排程页面下新建工程报错问题， 初步得出结论是跳转请求没成功，不是代码本身bug 3.学习质控所用到的技术，比如jsf，gwt
DataCleaner入门2.1
weixin_43899418的博客
01-26 1301
2.1 安装客户端 以下是安装DataCleaner的系统要求： 电脑一台 jdk1.7及以上 专业版的DataCleaner软件许可证文件。如果您要求免费试用或在线购买DataCleaner，此文件将发送到您的电子邮件地址。 使用安装程序启动安装过程。安装程序是一个可执行的JAR文件，只要双击它，它在大多数系统上都是可执行的。就是启动一个jar文件。 如果双击安装程序时安装程序未启动，请打开命令提示符并输入：java -jar DataCleaner-[edition]-[version]-inst
数据清洗利器：DataCleaner 全面解析
最新发布
gitblog_00091的博客
04-16 546
数据清洗利器：DataCleaner 全面解析 项目地址:https://gitcode.com/datacleaner/DataCleaner 项目简介 DataCleaner 是一个强大的开源数据清洗工具，旨在帮助数据分析师、科学家和工程师有效地处理脏数据问题。该项目提供了一种直观的图形用户界面，使得非编程背景的用户也能轻松上手，并且为有经验的开发者提供了丰富的API以进行更深度的操作。 技术...
DataCleaner---18.3 第二步：作业
weixin_43899418的博客
03-01 195
18.3 第二步：工作 与配置一样，我们可以选择从文件加载要运行的作业，或者以编程方式构建它。 让我们从简单地从文件加载作业开始。我们需要使用JaxbJobReader类： InputStream inputStream = new FileInputStream("my_job.analysis.xml"); JaxbJobReader jobReader = new JaxbJobReader(configuration); AnalysisJob analysisJob = jobReader.re
datacleaner使用文档-170904-01
SunWuKong_Hadoop的博客
08-22 4860
第一部分： 1.添加组件： transformer analyzer filter （有存档） capture changed record：捕捉更改记录 data range：数据范围 2.datacleaner监视器（待补充·············） 第二部分： 1。重
DataCleaner入门--2.6保存和打开job
weixin_43899418的博客
01-28 359
保存和打开job 您可以保存job以便以后再次使用。保存job很简单：只需单击窗口顶部面板中的“Save”按钮。 分析数据相关的job以“.analysis.xml”的后缀名文件保存。这些文件是可使用任何XML编辑器读取和编辑。 打开job可以使用“Open”菜单项完成。打开job将还原一个作业生成窗口，从中可以编辑和运行job。 ...
DataCleaner
02-27
DataCleaner 是一个数据质量分析,比较,验证和监督的软件.DataCleaner包括一个独立的图形用户界面分析,比较和验证,并进行监测web应用 DataCleaner 是一个数据质量分析,比较,验证和监督的软件.DataCleaner包括一个独立...
DataCleaner中文官方文档1
08-08
2. DataCleaner 桌面版入门 DataCleaner提供了直观的桌面应用，让用户轻松地连接到各种数据源，执行数据清洗任务。以下是其主要操作步骤： 2.1 安装客户端 首先，需要下载并安装DataCleaner客户端，按照安装向导...
datacleaner学习文档2
08-08
DataCleaner的配置可以通过conf.xml文件进行，这个文件定义了静态的、不可修改的应用程序环境。而用户在桌面应用中的定制则保存在userpreferences.dat文件中。数据存储配置可以在元素中定义，支持JDBC连接等多种数据...
datacleaner学习文档1
08-08
标准组件是DataCleaner社区版中常用组件的集合。 9. **desktop**：桌面应用程序的API和用户界面，基于Swing。 10. **monitor**：提供了DataCleaner的监控模块API。 为了运行DataCleaner，你需要一个有图形界面的...
DataCleaner---18.2 第一步：配置
weixin_43899418的博客
03-01 370
18.2 第一步：配置 DataCleaner的配置在类DataCleanerConfiguration（以前是“AnalyzerBeansConfiguration”类）中表示。您需要DataCleanerConfiguration作为大多数后续操作的先决条件。 获取DataCleanerConfiguration实例最简单、可能也是最方便的方法是从一个文件中加载（通常名为conf.xml格式（有关此文件格式的详细信息，请参阅配置文件一章）。要加载文件，请使用JaxbConfigurationReader
datacleaner 数据质量管理软件
11-26
数据质量管理分析软件，运用于数据仓库数据分析校验
Python-datacleaner能对数据集进行自动清理以便进行数据分析
08-10
datacleaner-能对数据集进行自动清理, 以便进行数据分析
Data-Cleaner:准备数据以分析和训练预测模型！
03-21
数据清理器 该工具可用于在使用前清除您的数据集！轻松处理类型错误，缺少值以及即将推出的更多错误！ 前： 后： 使用脚本的步骤： 从此仓库下载datacleaner.py 确保您的计算机上安装了python 只需按照脚本注释中编写的步骤操作，即可高效，准确地清除所需的代码！ （即将推出的网络应用程序，可以更轻松地访问和使用！）
数据质量管理平台-EsDataClean-白皮书.pdf
11-27
数据质量管理平台-EsDataClean-白皮书，
DataClean:JHU数据清理项目
06-17
概括 R 脚本“run_Analysis.R”可用于处理以下网址中可用和描述的人类活动数据集：- 数据集可从该位置下载为 zip 文件。 解压缩 zip 文件后，提取的数据将包含一个名为“UCI HAR 数据集”的目录。 该脚本将生成一个摘要数据集，该数据集在文件“CodeBook.md”中进行了更详细的描述。 运行脚本 在 R/Rstudio 中运行脚本 使用 R source() 命令将代码读入 R 控制台会话：- > 源（“run_Analysis.R”） 这假设脚本在当前工作目录中，如果脚本不在工作目录中，那么您需要提供适当的文件路径 将 R 控制台会话工作目录设置为从 zip 文件中提取的“UCI HAR Dataset”目录，例如 > setwd("/home/user/DC/project/UCI HAR 数据集") 您可以通过运行辅助函数 right_place()
DataCleaner---15.4 在DataCleaner桌面端使用Hadoop
weixin_43899418的博客
02-26 199
15.4 在DataCleaner桌面端使用Hadoop 在DataCleaner 桌面端中，您可以处理位于HDFS上的CSV数据存储。 配置Hadoop集群 为了能够在Hadoop集群上从DataCleaner桌面端执行作业，您有许多配置选项，这些选项在选项对话框的Hadoop集群选项卡中进行管理。 默认 默认情况下，DataCleaner使用 HADOOP_CONF_DIR 和 YARN_CONF_DIR 环境变量来确定Hadoop/Yarn 配置文件（如core-site.xml and ya
DataCleaner---19.1 扩展开发教程
weixin_43899418的博客
03-02 459
19.1 扩展开发教程 对于那些从事开发扩展的人来说，有很多有用的资源。(插件/附加组件）到DataCleaner。为了帮助你，这里有一个有用的拓展开发。如果您认为此开发还不够，请告知我们： 教程：开发转换器transformer 教程：开发分析器analyzer 教程：实现自定义数据存储 Javadoc: DataCleaner Javadoc: MetaModel ===================================================================
DataCleaner中文文档
weixin_43899418的博客
01-21 4638
DataCleaner中文自编译文档DataCleaner中文自编译文档Ⅰ.DataCleaner简介1.背景和概念2.DataCleaner桌面版入门Ⅱ.组件分析3. Transform4. Improve 5. Analyze 6. WriteⅢ.数据参考 7. Dictionaries 8. Synonyms (aka. Synonym catalogs) 9. String patternsⅣ.相关配置 10. Configuration file 11. Analysis job files 1

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值