数据质量
文章平均质量分 84
软件开发随心记
这个作者很懒,什么都没留下…
展开
-
spock 2.0 使用指南
1.spock是什么Spock是一个测试框架,它是JUnit的超集。Spock是相对新的框架,使用Groovy语法,Groovy语法简洁,Spock测试贴近自然语言,有更高可读性.目前spock最新版本是2.0,对应的groovy版本为3.0spock2.0是基于Junit5,当前Junit5与power mock存在兼容问题,所以spock2.0暂时不支持mock静态方法!如果项目中需要使用到 静态方法的mock,可使用spock1.x .spock2.0与spock1.x在功能使用上没有太大差原创 2021-06-15 01:44:13 · 2588 阅读 · 1 评论 -
数据质量监控工具-Apache Griffin
文章目录一、概述二、Apache Griffin2.1 特性2.1.1 数据质量指标说明2.2 优势2.3 工作流程2.4 系统架构2.5 数据验证逻辑2.6 Demo2.7 后台提交监控任务一、概述随着业务发展和数据量的增加,大数据应用开发已成为部门应用开发常用的开发方式,由于部门业务特点的关系,spark和hive应用开发在部门内部较为常见。当处理的数据量达到一定量级和系统的复杂度上升时,...原创 2019-01-12 15:40:58 · 38956 阅读 · 12 评论 -
Appache Griffin 扩展Mysql数据源
概述Apache Griffin定位为大数据的数据质量监控工具,支持批处理数据源hive、text文件、avro文件和实时数据源kafka,而一些以关系型数据库如mysql、oracle为存储的项目也同样需要可配置化的数据质量监控工具,所以扩展griffin的mysql数据源就可以为项目的数据质量监控提供多一种选择。代码结构从上一篇文章apache griffin 中已经介绍了griffin...原创 2019-06-30 16:12:50 · 1844 阅读 · 3 评论