druid.io
梦想成真那天
这个作者很懒,什么都没留下…
展开
-
ImportError: cannot import name 'AbortAction' from 'prompt_toolkit' (/Users/icsoc/.virtualenvs/alert
(alert-manger) ➜ alert-manager git:(master) ✗ pip install prompt -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.comLooking in indexes: http://pypi.douban.com/simple/Collecting promp...原创 2020-04-29 17:45:12 · 633 阅读 · 0 评论 -
druid.io中kafka-index-service移交多次失败的问题排查与处理
问题日志如下:2020-02-02T23:41:03,855 INFO [publish-0] io.druid.indexing.kafka.KafkaIndexTask - Persisting Sequences Metadata [[]]2020-02-02T23:41:03,856 INFO [publish-0] io.druid.segment.realtime.appender...原创 2020-02-03 15:38:25 · 534 阅读 · 0 评论 -
druid.io数据迁移
在druid.io的开发过程中,遇到需要将druid.io的某个dataSource数据迁移到另外一个集群的问题,在开发过程中,发现一种解决方式,其具体实步骤如下:第一步:将需要迁移的dataSource的segment复制一份到另外一个druid.io集群的segment存储目录下,我们是存在OSS目录下的, 所以可以使用OSS的工具复制到新目录就可以了.第二步:将老druid.io集群上的...原创 2019-02-22 17:01:08 · 1212 阅读 · 2 评论 -
Druid.io之数据压缩任务实现
压缩JSON:{ "type": "compact", "dataSource": "ctitest-20181205", "interval": "2018-01-01/2019-01-01"}压缩任务提交的命令: curl -X 'POST ' -H 'C原创 2018-12-17 18:37:24 · 712 阅读 · 0 评论 -
Druid.io支持粒度如下:
all:none:使用索引的粒度,最小值none指毫秒粒度second:秒粒度minute:分钟粒度fifteen_minute: 15分钟粒度thirty_minute: 30分钟粒度hour:小时粒度day:天粒度week:周粒度month:月粒度quarter: 一个季度粒度year:年粒度...原创 2018-12-11 18:12:42 · 940 阅读 · 0 评论 -
druid.io数据迁移之insert-segment-to-db Tool
druid.io数据迁移之insert-segment-to-db Tool原创 2019-11-20 15:28:09 · 400 阅读 · 0 评论 -
druid.io值kafka-index-service任务失败异常排查
2019-06-19T03:44:02,711 INFO [task-runner-0-priority-0] io.druid.indexer.HadoopDruidIndexerJob - No metadataStorageUpdaterJob set in the config. This is cool if you are running a hadoop index task, ot...原创 2019-07-10 13:21:34 · 1123 阅读 · 0 评论 -
druid.oi之ZeroCopyByteBuffer
druid.oi之ZeroCopyByteBuffer原创 2019-05-28 11:13:00 · 141 阅读 · 0 评论 -
druid.oi之Group BYJSON查询语法
{ "queryType": "groupBy", "dataSource": "DEV-MONITOR-PT1S-PT1H", "threshold": 10, "dimension": "trunkNum", "granularity": "minute", "filter": { "type": "selector", ...原创 2019-03-22 13:44:02 · 831 阅读 · 0 评论 -
druid.io之merge task
在开发过程中,由于刚刚使用druid.io时,数据量比较小,所以如果按照小时来存储结果,发现每个segments只有几兆的大小,这种大量的小文件不适合在HDFS集群上进行深度存储,同时也会降低查询性能等等,所以迫切需要一种方案对segment进行数据合并,在查询druid.io的配置参数时,发现druid.io的协调节点上可以开启参数druid.coordinator.merge.on每隔一点...原创 2019-02-26 14:37:33 · 1015 阅读 · 0 评论 -
druid问题
java.lang.IllegalStateException: Failed to create merged beam: druid:overlord/ctitest-20180911 at com.metamx.tranquility.beam.ClusteredBeam$$anonfun$sendAll$2$$anonfun$26.apply(ClusteredBeam.scala:38...原创 2018-09-18 13:25:08 · 969 阅读 · 0 评论 -
tranquilizer实现BeamFactory流式数据写入到Druid
package com.icsoc.report.druid;import com.google.common.collect.ImmutableList;import com.metamx.common.Granularity;import com.metamx.tranquility.beam.Beam;import com.metamx.tranquility.beam.Clust...原创 2018-09-17 15:08:44 · 660 阅读 · 1 评论 -
MR任务之后提交Hadoop批量索引任务
MR程序运行成功之后,生成的JSON数据放入指定的目录,然后利用HTTP的POST,向druid.io的overload上提交任务 private static void submitHadoopIndexTask(FileSystem fileSystem, String dataSource, String intervals, List<Path&...原创 2018-08-22 17:48:51 · 432 阅读 · 0 评论 -
druid.io kafka-Index-service.json任务
supervisor-spec1.json如下:{ &quot;type&quot;: &quot;kafka&quot;, &quot;dataSchema&quot;: { &quot;dataSource&quot;: &quot;metrics-kafka&quot;, &quot;parser&a原创 2018-08-22 14:13:32 · 1186 阅读 · 0 评论 -
kafka-index-service实现一个topic多个不同查询粒度的kafka-index-service任务
在Druid.io相关需求开发的时候,通过大数据Flink实时计算后的结果数据写入到的kafka的topic中,由于需要不同的查询的粒度的的dataSource来有话我们的业务以及查询而不想部署多态Flink程序,因此这是就可以使用该方法实现一份计算,多查询粒度的datasource生成,只需要修改consumerProperties中的goup.id的值即可,以下是我在工做种的实时使用,记录一下...原创 2018-12-11 16:07:15 · 812 阅读 · 0 评论 -
druid.io 优化
策略 可以使用两种不同的策略执行GroupBy查询。集群的默认策略由代理上的“druid.query.groupBy.defaultStrategy”运行时属性确定。这可以在查询上下文中使用“groupByStrategy”覆盖。如果既未设置上下文字段也未设置属性,则将使用“v2”策略。“v2”是默认设计,旨在提供更好的性能和内存管理。此策略使用完全堆外映射生成每段结果。数据节点使用完全堆外...翻译 2018-08-06 11:44:00 · 2135 阅读 · 0 评论