![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Presto
我在北国不背锅
致力于AI大模型、Java、大数据、运维及各类计算机技术为一体的知识架构
展开
-
presto安装及查询MySQL、Hive和Kafka
安装presto1、下载服务端和客户端服务端https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.234/presto-server-0.234.jar客户端https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.234/presto-...原创 2020-04-28 16:40:13 · 4282 阅读 · 0 评论 -
数据质量校验简单设计思路
参考文档:https://www.jianshu.com/p/2697687407a8一些数据计算完毕后,我们需要知道计算结果是否符合预期,比如是否有脏数据,是否数据量符合预期。这里就有两个问题,一个是校验什么,另一个是怎么校验。校验什么- 单个字段校验,例如字段的唯一性、非空、数值范围、枚举类型、异常值- 表级行数,例如表的行数在一个合理范围,可以是跟历史行数对比,也可以跟预设的常量做对...原创 2020-04-16 15:12:39 · 6120 阅读 · 0 评论