![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
druid
Mr_小白不白
这个作者很懒,什么都没留下…
展开
-
Druid Flatten JSON解析
druid是支持Flatten JSON数据的实时解析的,需要编写flattenSpec的配置,以下Flatten JSON数据为例{"time":1529209115078,"product_type":"unknown","model":"Other","log_type":"timeon.behavior","api_no":&原创 2018-06-19 19:52:15 · 1797 阅读 · 0 评论 -
druid Configuration配置和启动
在druid进行配置时,首先需要搞清楚druid的整体架构、节点等概念,这对于后续各节点配置有更好的作用,druid整体架构如下: (1)broker Nodes:对于Historical Nodes和Real-time Nodes来说作用是查询路由,所有的客户端请求都会发送到Broker Nodes中,该节点知道在zookeeper之上的segments信息,哪些segment...原创 2018-06-20 10:37:44 · 4615 阅读 · 0 评论 -
druid 实践与问题总结
druid 操作实践【1】druid删除datasource某个interval之间的数据, (1)druid版本<=0.10.0 版本,例如删除aaaa datasource 中intervals=[1970-01-01T00:00:00.000Z_2018-09-21T00:09:00.000Z]curl -X 'DELETE' "http://druid-a:808...原创 2018-08-10 15:41:48 · 2163 阅读 · 0 评论 -
druid kafka index service still waiting for hand off segments
在向overlord提交kafka index service task之后,数据可实时接收,并且在druid segments中的目录下segments已生成落盘,并且coordinator已向metastore中注册segments信息,而在task 日志中,出现以下错误。 此时错误为:still waiting for hand off segments, 此错误会造成mid...原创 2018-08-07 16:55:51 · 1704 阅读 · 0 评论 -
druid.io 去重计数
在大数据分析中,对数据进行计数去重是比较常见的需求,而druid.io中提供了多种去重计数的aggregtions函数,对于这些去重的aggregtions也不尽相同。druid中提供的去重aggregation如下: 1、DataSketches aggregtions : yahoo提供的分析包,此算法也是采用最大估计的算法,在数据摄入阶段(ingestion time...原创 2018-08-24 10:04:42 · 8220 阅读 · 0 评论 -
druid emitter 监控模块
在druid的提供了Request Logging的日志记录功能,除此之外druid还提供了emiter模块,可将druid的各个组件(broker,middlemanage,overlord、coordinator、historical)的metric发送http接口或者文件中。 (1)首先enable emitter merics,配置如下: Property ...原创 2019-03-01 17:32:06 · 1510 阅读 · 2 评论 -
《快手万亿级实时OLAP平台的建设与实践》总结
最近阅读了《快手万亿级实时OLAP平台的建设与实践》这篇博文,在公司内部也采用了druid作为实时OLAP的查询引擎,快手的在druid中的优化总结如下: (1)集群规模和效果(2)druid内部查询技术点 数据的预聚合、列式存储、bitmap索引,查询结果的中间缓存等。(3)快手使用和查询优化经验 1:资源隔离部署方案. ...原创 2019-03-18 11:08:01 · 1932 阅读 · 0 评论 -
druid compact task 和index task 任务比较
druid中提供了各种的ingest task ,其中包括了compact和index task ,以下对两种task的应用场景以及优缺点进行了比较 (1)compact task 合并指定interval之间的所有segments .语句如下: { "type": "compact", "id": <task_id>, ...原创 2019-03-19 10:51:41 · 1305 阅读 · 0 评论