doris和ck

ck的不足
ClickHouse 并发支持能力不足
在分布式 Join 实现性能较低
对于数据更新操作支持较弱、更新性能较差
使用和运维成本

关注的点:实效性、简化数据处理流程、提高实时效率,而且可以降低平台运维管理的成本
并发、join、功能易用
清洗、标准化、回填、脱敏
关联、聚合等处理,再以微批、精准一次性写入 Doris 中,实现了数据秒级更新
压缩、冷热数据(冷数据自动下沉到hhd、副本由3变为1),例如根据数据的冷热情况,设置不同的数据副本个数

在存储资源分配方面-存储成本优化:借助于 Doris 极高效率的压缩算法、冷热数据分层管理、分区级副本设置等功能,可对存储资源合理分配,最终实现存储成本节约 50%,成功达到性能和成本的平衡。
在数据导入方面-导入优化:doris-flink-connector,数据预处理(根据ID在flink中形成宽表)、调整cpu(给合并加资源)、max_tablet_version_num(避免版本堆积);加上 关联、聚合等处理,再以微批、精准一次性写入 Doris 中,实现了数据秒级更新。
在查询性能方面-数据规模分级查询:例如G数据采用天分区、G-T数据采用小时分区(物化视图)、百T数据采用聚合模型入表

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值