druid
lianchaozhao
这个作者很懒,什么都没留下…
展开
-
druid 关键技术点回顾
一、druid 的设计原则方式1、快速查询:(1)、实现技术点,内存使用上精细设计,(例如在druid中使用bitMap 压缩技术)(2)、维护一些倒排索引(可以加快And和 Or 的计算操作)2、水平扩展能力:(1)、druid 查询性能很大晨读依赖于内存的优化使用,数据可以分布在多个节点的内存中。数据增长的时候,可以通过简单增加机器的方式进行扩容。只是按照时间切分有时候是不够的(druid 的每个segment 不超过2000万行),故druid 还支持对segment进一步分区。(2)、历原创 2020-12-16 17:37:31 · 401 阅读 · 1 评论 -
cdh6.2.1+flink1.9+druid1.8搭建实践
1、CDH版本调研和相应依赖整理综述一般组件版本管理工具包含两种方式,第一种ambari 第二种为cloudra 两种各有优缺点,但立足公司实际情况,需要一种相对来说,比较稳定,并且易于管理监控更加方便,一般不用二次开发的集群。并且cloudera相对ambari市场占有率比较大解决方案相对比较成熟。因此决定采用cloudera manager 去监控管理公司的集群。版本选择Clouder...原创 2020-05-13 19:36:12 · 1019 阅读 · 0 评论 -
druid的优化杂谈
1、基于DataSource与Segment的数据结构druid中segment 大小存储的因为其一般由dataSource_beginTime_endTime_version_shardNumber做唯一标识。所以一般我们可以根据产生数据频率设置文件生成的周期跨度(1)、通过时间粒度划分通过granularitySpec来配置属性的."granularitySpec" : { "typ...原创 2020-04-22 16:04:36 · 1712 阅读 · 0 评论 -
clickhouse和druid实时分析性能总结
clickhouse 应用总结调研:概述:clickhouse 是俄罗斯的“百度”Yandex公司在2016年开源的,一款针对大数据实时分析的高性能分布式数据库,与之对应的有hadoop生态hive,Vertica和百度出品的palo。其作为分析型数据库,有三大特点:一是跑分快,二是功能多,三是文艺范。背景:Hadoop 生态体系解决了大数据界的大部分问题,当然其也存在缺点。Hadoop...原创 2020-04-12 11:09:06 · 11622 阅读 · 2 评论