数据质量监控工具-Apache Griffin本地安装和调试

最新推荐文章于 2024-05-27 09:59:07 发布

豆浆~油条

最新推荐文章于 2024-05-27 09:59:07 发布

阅读量4.6k

点赞数 4

分类专栏：大数据文章标签： Apache Griffin 数据质量监控工具分布式大数据质量

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_41045909/article/details/92415911

版权

大数据专栏收录该内容

37 篇文章 3 订阅

订阅专栏

数据质量监控工具-Apache Griffin本地安装和调试

1 、Apache Griffin简介
Griffin起源于eBay中国，并于2016年12月进入Apache孵化器，Apache软件基金会2018年12月12日正式宣布Apache Griffin毕业成为Apache顶级项目。
Griffin是属于模型驱动的方案，基于目标数据集合或者源数据集(基准数据)，用户可以选择不同的数据质量维度来执行目标数据质量的验证。支持两种类型的数据源：batch数据和streaming数据。对于batch数据，我们可以通过数据连接器从Hadoop平台收集数据。对于streaming数据，我们可以连接到诸如Kafka之类的消息系统来做近似实时数据分析。在拿到数据之后，模型引擎将在spark集群中计算数据质量。
2、代码下载
https://github.com/apache/griffin 选择master分支，下载zip包，或者利用git，直接克隆代码
3、本地安装
把代码导入idea,等待所有依赖的jar包的下载完成，整个过程可能需要10分钟左右
在这里插入图片描述

在这里插入图片描述

4.修改配置文件
4.1 修改service模块下的pom.xml文件，把支持mysql的profIle的注释放开
原来的pom.xml:
在这里插入图片描述

在这里插入图片描述

修改之后的pom.xml
在这里插入图片描述

在这里插入图片描述

4.2修改service模块下的application.properties
在这里插入图片描述

在这里插入图片描述

修改前：

在这里插入图片描述

修改后：

在这里插入图片描述

4.3 修改ui模块下的angular下的environment.ts
修改前
在这里插入图片描述

在这里插入图片描述

修改后：

在这里插入图片描述

5、执行初始化脚本
初始化脚本在service模块下的resource目录下，因为使用的是mysql数据库，所以执行的是mysql的初始化脚本：
在这里插入图片描述

在这里插入图片描述

6、启动项目
6.1、启动serve模块
直接debug运行service模块下的GriffinWebApplication这个类即可：
在这里插入图片描述

在这里插入图片描述

因为这里我没有改hive的元数据信息配置，这个项目启动的时候就会去找连接hive的元数据，所以项目启动的时候会报错，但这并不会影响项目的正常启动
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

6.2启动前端
先把ui模块进行编译，编译之后去到node_modules目录下中的./bin目录执行如下命令：
ng serve --port 8081
这里的端口不能是8080，因为8080已经被service模块占用了
在这里插入图片描述

在这里插入图片描述

6.3在浏览器中打开
http://localhost:8081

出现这个页面说明本地可以正常启动了，后台默认是没有用户名和密码的，直接点击登录就可以了
点击登录之后看到的页面;
在这里插入图片描述

在这里插入图片描述

7、断点调试
7.1 在后台的service模块下的JobController类上打上断点
在这里插入图片描述

在这里插入图片描述

在浏览器上切换到job的页面，会发出查询所有Jobs的请求：
在这里插入图片描述

在这里插入图片描述

发现后台的断点已经进到了：
在这里插入图片描述

在这里插入图片描述

如果本地安装启动过程，遇到问题无法解决，可以添加微信，备注：apache griffin（否则有可能不通过）
在这里插入图片描述

在这里插入图片描述

关注

4
点赞
踩
16

收藏

觉得还不错? 一键收藏
18
评论
数据质量监控工具-Apache Griffin本地安装和调试

数据质量监控工具-Apache Griffin本地安装和调试1 、Apache Griffin简介Griffin起源于eBay中国，并于2016年12月进入Apache孵化器，Apache软件基金会2018年12月12日正式宣布Apache Griffin毕业成为Apache顶级项目。Griffin是属于模型驱动的方案，基于目标数据集合或者源数据集(基准数据)，用户可以选择不同的数据质量维度...
复制链接

扫一扫

专栏目录

评论 18

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。