Druid.io
越来越多的公司使用druid.io作为公司的OLAP数据库,既能够满足实时数据摄入的需求,数据bitmap存储节省空间,倒排序索引,快速查询,实时分析.
梦想成真那天
这个作者很懒,什么都没留下…
展开
-
io.druid.java.util.common.ISE: Could not allocate segment for row with timestamp
今天使用阿里云druid.io服务,发现kafka-index-service这个任务都以失败结束,查询错误日志,错误如下 io.druid.java.util.common.ISE: Could not allocate segment for row with timestamp[2019-11-21T09:17:29.000Z] at io.druid.indexing.kafka.Ka...原创 2019-11-21 17:20:52 · 1698 阅读 · 9 评论 -
mysql批量更新某个字段
update druid_segments set payload = replace(payload,‘oss://icsoc-emr-hadooposs://icsoc-emr-hadoop/druid-test/segments/TEST-CTI-PT30M-PT1H/’,‘oss://icsoc-emr-hadoop/druid-test/segments/TEST-CTI-PT30M-...原创 2019-03-22 14:51:33 · 1371 阅读 · 0 评论 -
druid.io数据重建之insert-segment-to-db
java -Ddruid.metadata.storage.type=mysql -Ddruid.metadata.storage.connector.connectURI=jdbc:mysql://emr-header-1:3306/druid -Ddruid.metadata.storage.connector.user=root -Ddruid.metadata.storage.conne...原创 2019-11-20 15:27:22 · 333 阅读 · 0 评论 -
druid.oi之ZeroCopyByteBuffer
druid.oi之ZeroCopyByteBuffer原创 2019-05-28 11:13:00 · 141 阅读 · 0 评论 -
druid.oi之Group BYJSON查询语法
{ "queryType": "groupBy", "dataSource": "DEV-MONITOR-PT1S-PT1H", "threshold": 10, "dimension": "trunkNum", "granularity": "minute", "filter": { "type": "selector", ...原创 2019-03-22 13:44:02 · 831 阅读 · 0 评论 -
druid.io之merge task
在开发过程中,由于刚刚使用druid.io时,数据量比较小,所以如果按照小时来存储结果,发现每个segments只有几兆的大小,这种大量的小文件不适合在HDFS集群上进行深度存储,同时也会降低查询性能等等,所以迫切需要一种方案对segment进行数据合并,在查询druid.io的配置参数时,发现druid.io的协调节点上可以开启参数 druid.coordinator.merge.on 每隔一点...原创 2019-02-26 14:37:33 · 1015 阅读 · 0 评论 -
druid.io数据迁移
在druid.io的开发过程中,遇到需要将druid.io的某个dataSource数据迁移到另外一个集群的问题,在开发过程中,发现一种解决方式,其具体实步骤如下: 第一步:将需要迁移的dataSource的segment复制一份到另外一个druid.io集群的segment存储目录下,我们是存在OSS目录下的, 所以可以使用OSS的工具复制到新目录就可以了. 第二步:将老druid.io集群上的...原创 2019-02-22 17:01:08 · 1212 阅读 · 2 评论 -
Druid.io之数据压缩任务实现
压缩JSON: { "type": "compact", "dataSource": "ctitest-20181205", "interval": "2018-01-01/2019-01-01" } 压缩任务提交的命令: curl -X 'POST ' -H 'C原创 2018-12-17 18:37:24 · 712 阅读 · 0 评论 -
Druid.io支持粒度如下:
all: none:使用索引的粒度,最小值none指毫秒粒度 second:秒粒度 minute:分钟粒度 fifteen_minute: 15分钟粒度 thirty_minute: 30分钟粒度 hour:小时粒度 day:天粒度 week:周粒度 month:月粒度 quarter: 一个季度粒度 year:年粒度 ...原创 2018-12-11 18:12:42 · 940 阅读 · 0 评论 -
kafka-index-service实现一个topic多个不同查询粒度的kafka-index-service任务
在Druid.io相关需求开发的时候,通过大数据Flink实时计算后的结果数据写入到的kafka的topic中,由于需要不同的查询的粒度的的dataSource来有话我们的业务以及查询而不想部署多态Flink程序,因此这是就可以使用该方法实现一份计算,多查询粒度的datasource生成,只需要修改consumerProperties中的goup.id的值即可,以下是我在工做种的实时使用,记录一下...原创 2018-12-11 16:07:15 · 812 阅读 · 0 评论 -
druid问题
java.lang.IllegalStateException: Failed to create merged beam: druid:overlord/ctitest-20180911 at com.metamx.tranquility.beam.ClusteredBeam$$anonfun$sendAll$2$$anonfun$26.apply(ClusteredBeam.scala:38...原创 2018-09-18 13:25:08 · 969 阅读 · 0 评论 -
tranquilizer实现BeamFactory流式数据写入到Druid
package com.icsoc.report.druid; import com.google.common.collect.ImmutableList; import com.metamx.common.Granularity; import com.metamx.tranquility.beam.Beam; import com.metamx.tranquility.beam.Clust...原创 2018-09-17 15:08:44 · 660 阅读 · 1 评论 -
MR任务之后提交Hadoop批量索引任务
MR程序运行成功之后,生成的JSON数据放入指定的目录,然后利用HTTP的POST,向druid.io的overload上提交任务 private static void submitHadoopIndexTask(FileSystem fileSystem, String dataSource, String intervals, List<Path&...原创 2018-08-22 17:48:51 · 432 阅读 · 0 评论 -
druid.io kafka-Index-service.json任务
supervisor-spec1.json如下: { &quot;type&quot;: &quot;kafka&quot;, &quot;dataSchema&quot;: { &quot;dataSource&quot;: &quot;metrics-kafka&quot;, &quot;parser&a原创 2018-08-22 14:13:32 · 1186 阅读 · 0 评论 -
druid.io 优化
策略 可以使用两种不同的策略执行GroupBy查询。集群的默认策略由代理上的“druid.query.groupBy.defaultStrategy”运行时属性确定。这可以在查询上下文中使用“groupByStrategy”覆盖。如果既未设置上下文字段也未设置属性,则将使用“v2”策略。 “v2”是默认设计,旨在提供更好的性能和内存管理。此策略使用完全堆外映射生成每段结果。数据节点使用完全堆外...翻译 2018-08-06 11:44:00 · 2135 阅读 · 0 评论 -
Storm+Druid的事物实现逻辑
Storm-druid源码地址:https://github.com/apache/storm/tree/master/external/storm-druid/src/main/java/org/apache/storm/druid/trident Storm + Druid的事物实现逻辑:首先需要在pom.xml文件中引入storm-druid依赖 <! - https://mvn...原创 2018-04-10 16:57:09 · 931 阅读 · 0 评论 -
Storm Druid Bolt实现:
Storm-Druid源码地址为:https://github.com/apache/storm/tree/master/external/storm-druid 在Storm与Druid结合; 需要在pom.xml文件中引入<!-- https://mvnrepository.com/artifact/org.apache.storm/storm-druid --> <dependency>原创 2018-04-10 15:00:24 · 802 阅读 · 7 评论 -
DruidBolt按照IndexService方式写入数据的json描述文件
{ “type”: “index”, “spec”: { “dataSchema”: { “dataSource”: “druidBoltTest”, “parser”: { “type”: “string”, “parseSpec”: { “format”: “json”, ...原创 2018-04-09 10:20:10 · 374 阅读 · 0 评论 -
Druid
{ “spec”:{ “dataSchema”:{ “dataSource”:” “, “granulariitySpec”:{ “queryGranularity”:”MINUTE”, //string 最小查询粒度MINUTE,HOUR等 “segmentGranularity”:”HOUR”,//原创 2018-04-09 09:41:40 · 700 阅读 · 0 评论