数据质量
文章平均质量分 75
数据库相关内容
爱晒太阳的小老鼠
这个作者很懒,什么都没留下…
展开
-
跳过多少个工作日sql实现
跳过多少个工作日,sql实现方案原创 2024-03-04 15:20:36 · 421 阅读 · 0 评论 -
质检规则-数据连续性
在质量检核过程中,有时候需要校验数据连续性,给出连续性的3个模板原创 2024-03-26 15:46:48 · 788 阅读 · 0 评论 -
质检规则-正则
各种数据库支持的正则语句原创 2024-03-26 13:55:11 · 856 阅读 · 0 评论 -
PG数据库-实现组合枚举
字段内容可能是枚举值的任意值通过分隔符拼接,校验用分隔符split之后的值都在枚举值范围内原创 2023-11-09 15:03:51 · 111 阅读 · 1 评论 -
hive窗口函数-质检规则-波动检测
求数据表中第N行数据波动值,第n行数据的值见去前N行数据的平均值:公式 = An - avg提示:以下是本篇文章正文内容,下面案例可供参考。原创 2023-07-21 16:41:57 · 161 阅读 · 1 评论 -
数据质量-检核数据唯一性或者重复数据
数据质量,检查数据表数据项或者组合数据项数据唯一性。例如有一张人员信息表,找出身份证重复的数据原创 2023-08-07 14:13:30 · 276 阅读 · 1 评论 -
hive函数使用(校验日期连续性)
('10114406820000003167','440682PLDE00003167','批量定额优化测试003167','mrzhang','we23421111','6210','fdsafdsa','2020-01-17','2020-01-17','440682',NULL,NULL,'424428bf-fcc6-11ec-98e0-0242ac14000b'),(1)需要校验某张数据表,某个字段是否每天至少有一条数据,查出缺失的数据,已经有的数据,以及期望的数据;(2)缺失数据返回。原创 2023-04-28 12:47:19 · 507 阅读 · 0 评论 -
with as慢sql临时解决方案
with as引起的慢sql原创 2023-12-28 14:52:37 · 998 阅读 · 0 评论 -
pg字段支持多个字符串模糊匹配
pg字段支持多个字符串模糊匹配原创 2023-12-27 17:04:47 · 602 阅读 · 0 评论 -
PostgreSQL时间函数-质量检核-周期数据
背景:周期数据检核,分4种周期类型情况,1、按天:检查数据表没填19:00之前是否有一条数据2、按周:每周周一19:00之前产生数据3、按月:每月2号,19:00产生数据4、按年:每年1月1号,19:00产生数据。原创 2023-08-24 19:47:21 · 73 阅读 · 1 评论 -
经纬度坐标距离最小值符合度sql
3、sin和cos函数的参数是以弧度为单位的角度,所以x1、x2、y1、y2要用弧度表示,角度换成弧度公式:换成RADIANS(y1)1、距离可以用r*arccos[cos(y1)*cos(y2)*cos(x1-x2)+sin(y1)*sin(y2)]来算。6、查询数据表按project_no分组,查询每组数据,经纬度距离最小距离大于1000米的数据。2、r是地球半径6371km,x是经度,y是纬度。4、A、B两点经纬度距离,单位米。5、查询数据表任意2行数据的差。原创 2023-09-22 16:08:07 · 67 阅读 · 1 评论 -
有序数据校验
比较数据表的2个字段,是同向升序排列或者同向降序排序。比如找出营业额每年增长的用户数据原创 2023-11-21 18:41:47 · 37 阅读 · 0 评论