- 博客(66)
- 资源 (11)
- 收藏
- 关注
原创 快速上手 | 数据可观测性平台 Datavines 自定义SQL规则使用指南
自定义聚合SQL规则是 Datavines 平台中内置的一个灵活的规则,该规则允许用户通过编写SQL的方式来实现想要的数据质量检查逻辑,满足用户的特别需求。
2024-09-08 11:49:52 472
原创 入门指南 | Datavines 安装部署篇
Datavines是一站式开源数据可观测性平台,提供元数据管理、数据概览报告、数据质量管理,数据分布查询、数据趋势洞察等核心能力,致力于帮助用户全面地了解和掌管数据,让您做到心中有数.
2024-09-07 10:37:26 942 1
原创 快速上手 | Datavines两表值比对规则用法
使用两表值比对的规则,通过编写 SQL 语句来统计今天和昨天的数据量,然后比较两个值,如果今天的值大于昨天的值则为真,否则为假。
2023-07-14 23:28:17 662
原创 教程 | Datavines 自定义数据质量检查规则(Metric)
Metric 是 Datavines 中一个核心概念,一个 Metric 表示一个数据质量检查规则,比如空值检查和表行数检查都是一个规则。Metric 采用插件化设计,用户可以根据自己的需求来实现一个 Metric。下面我们来详细讲解一下如何自定义Metric。
2023-06-27 07:02:28 549
原创 一站式数据可观测性平台 Datavines 正式开源啦
Datavines是一站式开源数据可观测性平台,提供元数据管理、数据概览报告、数据质量管理,数据分布查询、数据趋势洞察等核心能力,致力于帮助用户全面地了解和掌管数据,让您做到心中有数,目前作为Datavane开源组织的重点推荐项目,正式开源,欢迎大家使用。
2023-06-22 16:32:41 1970
原创 SparkSteaming运行流程分析以及CheckPoint操作
本文主要通过源码来了解SparkStreaming程序从任务生成到任务完成整个执行流程以及中间伴随的checkpoint操作注:下面源码只贴出跟分析内容有关的代码,其他省略1 分析流程应用程序入口:val sparkConf = new SparkConf().setAppName("SparkStreaming")val sc = new SparkContext(spar...
2018-02-23 19:34:38 893
原创 HashSet和CopyOnWriteArraySet
HashSet是如何保证元素的不重复和无序HashSet的增删(改查?)原理CopyOnWriteArraySet支持并发的原理CopyOnWriteArraySet的增删(改查?)原理
2017-08-27 15:14:44 687 1
原创 ArrayList和CopyOnWriteArrayList
了解一下ArrayList和CopyOnWriteArrayList的增删改查实现原理看看为什么说ArrayList查询快而增删慢?CopyOnWriteArrayList为什么并发安全且性能比Vector
2017-08-27 11:26:40 1162
原创 Spark操作HBase问题:java.io.IOException: Non-increasing Bloom keys
Spark操作HBase问题:java.io.IOException: Non-increasing Bloom keys解决方法
2017-05-19 20:38:11 1115
原创 【Hadoop】ZooKeeper的简单理解
对ZooKeeper的设计目标、顺序一致性、系统模型、ZAB、数据模型、服务器角色和搭建要点进行简单地总结
2017-03-04 20:44:52 597
原创 【Hadoop】HBase框架学习之路
本文从HBase的设计背景、组件、流程、机制、实操等方面对HBase进行较为详细地分析,希望能够帮助大家更好地学习HBase
2016-12-30 17:09:54 1124
原创 【Hadoop】RegionServer详解
RegionServer是HBase中最主要的组件,本文对RegionServer中的组件和机制进行较为详细地讲解
2016-12-30 16:44:28 20077 6
原创 Hive创建表格报【Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException】引发的血案
成功启动Hive,创建表格时Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException的解决方案
2016-12-15 19:51:15 17145
翻译 【Hadoop】Hive官方文档翻译——Hive Tutorial(上)(Hive 入门指导)
官方文档是程序员最好的学习资料,本篇是Hive Tutorial(上),希望能帮助大家更好地学习Hive!
2016-12-13 19:26:38 5297
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人