Gobblin data quality checker

最新推荐文章于 2018-09-25 11:22:00 发布
最新推荐文章于 2018-09-25 11:22:00 发布
阅读量326 收藏
点赞数
分类专栏： Gobblin 文章标签： gobblin
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sxy0713/article/details/78844903
版权

QualityChecker用于数据质量检查，共有两种类型的QualityChecker：第一种，行级别检查器。用来决定每一条被处理的数据时候能被的提交进入下一个阶段。第二种：任务级别检查器。QualityChecker设置为OPTINAL时，表示QualityChecker可选，当数据质量不满足QualityChecker的策略policy时，只打印警告信息，不阻断job运行，当设置为FAIL时，阻断job执行。


实现自定义QualityChecker

1.行检查器

2,总行数检查器

3.时间跨度检查器






sxy0713
关注
专栏目录
Golang优秀开源项目汇总, 10大流行Go语言开源项目, golang 开源项目全集(golang/go/wiki/Projects), GitHub上优秀的Go开源项目...
weixin_33836874的博客
05-08 1万+
  Golang优秀开源项目汇总（持续更新。。。）我把这个汇总放在github上了， 后面更新也会在github上更新。 https://github.com/hackstoic/golang-open-source-projects  。 欢迎fork， star ， watch， 提issue。    资料参考来源：http://studygolang.com/projects 监控...
GOBLIN graph library-开源
04-26
【标题】"GOBLIN图库-开源"是面向图数据处理和分析的软件库，专为图形优化和可视化设计。作为一个开源项目，它提供了一系列的工具和算法，旨在帮助开发者和研究人员在图形领域进行高效的工作。 【描述】中提到，...
Gobblin简介
sxy0713的专栏
12-20 1069
Gobblin是LinkedIn公司开发的用于在Hadoop环境里统一数据抽取的框架。目前Gobblin可以建立多种pipelines，比如数据质量检查器、源数据管理、开发和其他操作。      Gobblin支持多种类型的数据源。例如数据库，Rest Api服务，FTP/SFTP，hdfs文件系统等，Gobblin对其中的数据抽取，转换和加载，包括任务调度，任务分片，错误处理，任务状态管理，数
Linkedin Gobblin：Hadoop 通用数据抽取框架
a153095800的博客
04-14 3911
近期需要使用Gobblin，翻看了下官方文档，结合自己的理解翻译总结了一下。 一、简介    Gobblin是一个通用的数据抽取框架，可以从一些数据源（数据库、FTP、文件、Kafka以及自定义的数据源）抽取海量数据到Hadoop上。框架在同一个地方管理所有不同数据源的元数据，同时具备可扩展、容错、数据质量保证等特性，是一个高效的数据抽取框架。 二、Gobblin架构    （
go语言项目汇总
weixin_30732825的博客
09-25 1508
Horst Rutter edited this page7 days ago·529 revisions Indexes and search engines These sites provide indexes and search engines for Go packages: awesome-go- A community curated list of ...
golang 开源项目全集
热门推荐
zzhongcy的专栏
06-22 2万+
一直更新中，地址：https://github.com/golang/go/wiki/Projects#zeromq Indexes and search engines These sites provide indexes and search engines for Go packages: awesome-go - A community curated list of
Goblin Secretary-crx插件
04-05
语言:English 如果您喜欢玩龙与地下城，并使用此网站上的在线角色表，请执行以下操作：… ... 特点：* [x]告诉您您属于哪一类（还不是很有用）* [x]添加可视健康栏来跟踪您剩下多少健康点和体质！ ...
goblin:go中实现的plan9命令
05-29
在运行goblin install命令时，goblin 工具将 chdir 到每个 './cmd/$tool' 目录中，以便运行 os.Exec("go build") 并从源代码编译每个工具。 如果该工具成功编译为可执行文件，则 go 工具会将二进制文件移动...
Goblin Slayer HD Wallpapers Anime New Tab-crx插件
03-16
其次，该扩展程序可以快速导航到您访问量最大的网站，Gmail之类的Chrome应用程序，或者可以直接在Goblin Slayer动漫主题上使用待办事项列表快速提醒。 如果需要，日期，时间和天气预报也可以显示在Goblin Slayer的新...
goblin-nabu
03-17
标题 "goblin-nabu" 暗示我们正在讨论一个与编程相关的项目，很可能是一个开源软件或库，它的命名可能源于奇幻元素，比如“哥布林”（Goblin），而“纳布”（Nabu）可能是项目的一个独特标识或者功能代号。...
注册会计师会计第十五章 债务重组.doc
09-16
注册会计师会计第十五章 债务重组.doc
第0章 前言.doc
09-16
第0章 前言.doc
python链表实战制作学生管理系统（附带pyqt5的界面优化）
09-16
python链表实战制作学生管理系统（附带pyqt5的界面优化）
首都体育学院在河北2021-2024各专业最低录取分数及位次表.pdf
09-16
全国各大学在河北2021-2024年各专业最低录取分数及录取位次数据，高考志愿必备参考数据
西南石油大学在河南2021-2024各专业最低录取分数及位次表.pdf
09-16
全国各大学在河北2021-2024年各专业最低录取分数及录取位次数据，高考志愿必备参考数据
深圳大学在河南2021-2024各专业最低录取分数及位次表.pdf
09-16
全国各大学在河北2021-2024年各专业最低录取分数及录取位次数据，高考志愿必备参考数据
springboot 普拉提会馆管理系统 演示录像.mp4
09-16
springboot 普拉提会馆管理系统 演示录像.mp4
一言开源社区官方提供的语句库，系_hitokoto.cn_数据库打包集合。语句接
最新发布
09-16
一言开源社区官方提供的语句库，系_hitokoto.cn_数据库打包集合。语句接口默认使用此库。_sentences-bundle
基于Java的智能停车场管理系统.zip
09-16
开发语言：Java 框架：ssm 技术：JSP JDK版本：JDK1.8 服务器：tomcat7 数据库：mysql 5.7（一定要5.7版本） 数据库工具：Navicat11 开发软件：eclipse/myeclipse/idea Maven包：Maven3.3.9 Java配置环境链接：https://pan.baidu.com/s/1Dzpiqb46mrukQzXOEj3otw 提取码：0000 后台路径地址：localhost:8080/项目名称/jsp/login.jsp 前台路径地址：localhost:8080/项目名称/front/index.jsp （无前台不需要输入） 管理员账号：abo 管理员密码：abo
“Goblin自动化框架
06-02
“Goblin自动化框架”可能是指一个基于Python语言的自动化测试框架，用于执行Web应用程序和移动应用程序的自动化测试。该框架支持多种测试类型，例如功能测试、性能测试、安全测试等。此外，该框架还提供了简单易用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值