实时数据
文章平均质量分 92
jiewuyou
爱编程不爱bug
展开
-
资源优化的道与术
资源优化对应的是技术生产力的提升,非常考验技术人员的功底和OWNER意识,同时能帮助经营者度过寒冷的冬天,实现基业常青。本文将描述所思所考,一家之言,供读者参考原创 2022-09-19 13:23:58 · 340 阅读 · 1 评论 -
一种基于实时分位数计算的系统及方法
性能分析等场景对实时分位数有强烈诉求。在计算累计时长时,可以将不同时间段的时长简单相加,而分位数却无法先计算不同维度下的分位值,然后对其直接聚合,该特性对实时计算带来了较大挑战。我们基于TDigest数据结构,利用Redis和Doris等高性能存储,预先计算所有可能查询的分位值指标,既可以快速计算指标,同时可以保障查询效率。该系统已经对百度内内核性能、网络性能等业务场景进行输出,并能有效满足业务高时效的分析需求。————————————————版权声明:本文为CSDN博主「百度Geek说」的原创文章,遵原创 2022-02-28 20:48:28 · 626 阅读 · 0 评论 -
实时数据
资料The world beyond batch: Streaming 101 The world beyond batch: Streaming 102原创 2017-01-13 17:56:04 · 1005 阅读 · 0 评论 -
storm开发tips
storm和MapReduce框架是类似的,但在生成数据时,往往是增量更新。因为Trident的出现,开发一套实时数据程序非常方便。本人将介绍小米统计storm开发过程中使用的一些优化点。acker数据设置适中为了保证数据流被正确的消耗,storm通过acker来跟踪各个数据流,并维持各个数据流的应答。acker设置过小,对数据响应会处理不过来。acker设置过大,会消耗比较多的资源。根据需要可以设原创 2017-01-24 10:11:57 · 695 阅读 · 0 评论