- 博客(4)
- 收藏
- 关注
原创 Kafka消费数据重复解决方案
YupDB内通过kafka传递进来的数据有重复现象(Kafka消费数据重复)遇到这种问题,基本上是心跳或offset更新不及时导致。在kafka环境中,有以下几个参数对于数据重复有很好的效果。auto.commit.interval.msconsumer向zookeeper提交offset的频率,单位是秒,默认60*1000此值太大会导致数据重复消费,将其调小可避免重复数据。建议值100...
2018-12-14 23:25:22 2641
原创 YupDB关联极速版(广播)
… 在YupDB中,能够像使用SQL一样实现两批数据的关联操作,取出两者之间通过某一字段进行关联的交集。这种取交集的方法有两种。…第一种普通的方法是通过with as 的方式实现。例如with a1 as (/yupdb.sql(’->’)/select DATA_ID from datas where yup_partitions =‘20181114’ /(’<-’)s...
2018-12-14 23:04:48 231 1
原创 YupDB万亿秒查之六脉神剑(下)
YupDB万亿秒查之六脉神剑(下)YupDB是面向海量数据背景下的多维度、高融合、企业级实时检索数据库。其具备万亿数据量下实时、多维、秒级检索及分析能力,同时还具备数据安全性及完整性高的特点。YupDB是如何做到万亿数据秒级查询的呢?下面就来了解一下。1、读写分离- - - 在绝大多项目中是存在实时数据入库的。这意味着数据在一边生成一边写入数据库中,同时数据库肩负着响应线上系统的功能。在这...
2018-10-15 21:20:05 251
原创 YupDB万亿秒查之六脉神剑(上)
YupDB万亿秒查之六脉神剑(上)YupDB是面向海量数据背景下的多维度、高融合、企业级实时检索数据库。其具备万亿数据量下实时、多维、秒级检索及分析能力,同时还具备数据安全性及完整性高的特点。 YupDB是如何做到万亿数据秒级查询的呢?下面就来了解一下。1、利用索引技术 - - - YupDB是面向海量数据背景下的企业级实时检索数据库。能够对大量数据进行存储,并...
2018-09-14 17:10:47 421
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人