Apache druid的ingestion spec数据插入规范

最新推荐文章于 2024-01-05 15:38:14 发布
最新推荐文章于 2024-01-05 15:38:14 发布
阅读量489 收藏
点赞数
分类专栏： 数据库和数据湖 文章标签： apache druid ingestion spec 数据插入规范 dataSchema granularitySpec
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yy8623977/article/details/123886045
版权

目录

1. 测试数据

我们要插入的测试是一批网络流数据，如下所示：

{"ts":"2018-01-01T01:01:35Z","srcIP":"1.1.1.1", "dstIP":"2.2.2.2", "srcPort":2000, "dstPort":3000, "protocol": 6, "packets":10, "bytes":1000, "cost": 1.4}
{"ts":"2018-01-01T01:01:51Z","srcIP":"1.1.1.1", "dstIP":"2.2.2.2", "srcPort":2000, "dstPort":3000, "protocol": 6, "packets":20, "bytes":2000, "cost": 3.1}
{"ts":"2018-01-01T01:01:59Z","srcIP":"1.1.1.1", "dstIP":"2.2.2.2", "srcPort":2000, "dstPort":3000, "protocol": 6, "packets":30, "bytes":3000, "cost": 0.4}
{"ts":"2018-01-01T01:02:14Z","srcIP":"1.1.1.1", "dstIP":"2.2.2.2", "srcPort":5000, "dstPort":7000, "protocol": 6, "packets":40, "bytes":4000, "cost": 7.9}
{"ts":"2018-01-01T01:02:29Z","srcIP":"1.1.1.1", "dstIP":"2.2.2.2", "srcPort":5000, "dstPort":7000, "protocol": 6, "packets":50, "bytes":5000, "cost": 10.2}
{"ts":"2018-01-01T01:03:29Z","srcIP":"1.1.1.1", "dstIP":"2.2.2.2", "srcPort":5000, "dstPort":7000, "protocol": 6, "packets":60, "bytes":6000, "cost": 4.3}
{"ts":"2018-01-01T02:33:14Z","srcIP":"7.7.7.7", "dstIP":"8.8.8.8", "srcPort":4000, "dstPort":5000, "protocol": 17, "packets":100, "bytes":10000, "cost": 22.4}
{"ts":"2018-01-01T02:33:45Z","srcIP":"7.7.7.7", "dstIP":"8.8.8.8", "srcPort":4000, "dstPort":5000, "protocol": 17, "packets":200, "bytes":20000, "cost": 34.5}
{"ts":"2018-01-01T02:35:45Z","srcIP":"7.7.7.7", "dstIP":"8.8.8.8", "srcPort":4000, "dstPort":5000, "protocol": 17, "packets":300, "bytes":30000, "cost": 46.3}

将其保存到quickstart/tutorial/ingestion-tutorial-data.json文件中

2. 定义dataSchema

ingestion spec中最核心的是dataSchema，定义了如何将输入数据解析为一组列

在quickstart/tutorial目录下新建文件ingestion-tutorial-index.json，在其中添加一个空的dataSchema，内容如下：

[root@bigdata001 apache-druid-0.22.1]# cat quickstart/tutorial/ingestion-tutorial-index.json 
"dataSchema" : {}
[root@bigdata001 apache-druid-0.22.1]#

2.1 指定数据源名称

通过dataSource指定

[root@bigdata001 apache-druid-0.22.1]# cat quickstart/tutorial/ingestion-tutorial-index.json 
"dataSchema" : {
  "dataSource" : "ingestion-tutorial"
}
[root@bigdata001 apache-druid-0.22.1]#

2.2 指定__time时间戳

通过timestampSpec指定__time时间戳。通过column定义__time时间戳的来源时间字段，通过format定义来源时间字段的时间类型

[root@bigdata001 apache-druid-0.22.1]# cat quickstart/tutorial/ingestion-tutorial-index.json 
"dataSchema" : {
  "dataSource" : "ingestion-tutorial",
  "timestampSpec" : {
    "column" : "ts",
    "format" : "iso"
  }
}
[root@bigdata001 apache-druid-0.22.1]#

2.3 定义Rollup相关

rollup定义在granularitySpec下面

  1. 如果启用了rollup，输入字段分为两类，“dimensions"和"metrics”。“dimensions” 是用于rollup的聚合字段，"metrics"是计算的指标字段
  2. 如果关闭了rollup，则所有字段都是"dimensions"，不会发生预聚合

2.3.1 “rollup” : true

本示例，我们开启rollup

[root@bigdata001 apache-druid-0.22.1]# cat quickstart/tutorial/ingestion-tutorial-index.json 
"dataSchema" : {
  "dataSource" : "ingestion-tutorial",
  "timestampSpec" : {
    "column" : "ts",
    "format" : "iso"
  },
  "granularitySpec" : {
    "rollup" : true
  }
}
[root@bigdata001 apache-druid-0.22.1]#

dimension和Metrics的字段划分

  • dimension：srcIP、srcPort、dstIP、dstPort、protocol
  • Metrics：packets、bytes、cost

dimension的指定

dimensions定义在dimensionsSpec下面

[root@bigdata001 apache-druid-0.22.1]# cat quickstart/tutorial/ingestion-tutorial-index.json 
"dataSchema" : {
  "dataSource" : "ingestion-tutorial",
  "timestampSpec" : {
    "column" : "ts",
    "format" : "iso"
  },
  "granularitySpec" : {
    "rollup" : true
  },
  "dimensionsSpec" : {
    "dimensions" : [
      "srcIP",
      {"name" : "srcPort", "type" : "long"},
      {"name" : "dstIP", "type" : "string"},
      {"name" : "dstPort", "type" : "long"},
      {"name" : "protocol", "type" : "string"}
    ]
  }
}
[root@bigdata001 apache-druid-0.22.1]#
  • 字段类型可以是long、float、double、string
  • 如果字段类型是string类型，可以只指定字段名称，因为默认的字段类型就是string。如"srcIP"
  • protocol字段在数据文件中是数值类型，本应定义为long类型，但这里我们定义为string类型。会强制将long类型转换为string类型
  • 数据文件中的字段为数值类型，定义为数值类型可以减少磁盘空间，降低处理开销，Metrics字段推荐用数值类型。定义为string类型可以使用位图索引，dimension字段推荐用string类型

Metrics的指定

使用metricsSpec进行定义

[root@bigdata001 apache-druid-0.22.1]# cat quickstart/tutorial/ingestion-tutorial-index.json 
"dataSchema" : {
  "dataSource" : "ingestion-tutorial",
  "timestampSpec" : {
    "column" : "ts",
    "format" : "iso"
  },
  "granularitySpec" : {
    "rollup" : true
  },
  "dimensionsSpec" : {
    "dimensions" : [
      "srcIP",
      {"name" : "srcPort", "type" : "long"},
      {"name" : "dstIP", "type" : "string"},
      {"name" : "dstPort", "type" : "long"},
      {"name" : "protocol", "type" : "string"}
    ]
  },
  "metricsSpec" : [
    {"type" : "count", "name" : "count"},
    {"type" : "longSum", "name" : "packets", "fieldName" : "packets"},
    {"type" : "longSum", "name" : "bytes", "fieldName" : "bytes"},
    {"type" : "doubleSum", "name" : "cost", "fieldName" : "cost"}
  ]
}
[root@bigdata001 apache-druid-0.22.1]#

这里我们定义了一个count聚合字段，用来计算每个分组中，原始数据有多少行数据

2.3.2 “rollup” : false

如果Rollup为false，所有字段都定义在dimensionsSpec。例子如下：

"dataSchema" : {
  "dataSource" : "ingestion-tutorial",
  "timestampSpec" : {
    "column" : "ts",
    "format" : "iso"
  },
  "granularitySpec" : {
    "rollup" : false
  },
  "dimensionsSpec" : {
    "dimensions" : [
      "srcIP",
      {"name" : "srcPort", "type" : "long"},
      {"name" : "dstIP", "type" : "string"},
      {"name" : "dstPort", "type" : "long"},
      {"name" : "protocol", "type" : "string"},
      {"name" : "packets", "type" : "long"},
      {"name" : "bytes", "type" : "long"},
      {"name" : "srcPort", "type" : "double"}
    ]
  }
}

2.4 定义granularitySpec

  • type的可选值有uniform、arbitrary
    1. uniform：所有segment都有统一的时间间隔，例如所有segment都包含一小时的数据
  • segmentGranularity：指定每个segment的时间间隔大小，例如：HOUR、DAY、WEEK
  • queryGranularity：指定segment中__time字段的保存粒度，也称bucketing粒度
  • intervals：对于批处理任务，不在该intervals时间范围内的数据，不会被保存
[root@bigdata001 apache-druid-0.22.1]# cat quickstart/tutorial/ingestion-tutorial-index.json 
"dataSchema" : {
  "dataSource" : "ingestion-tutorial",
  "timestampSpec" : {
    "column" : "ts",
    "format" : "iso"
  },
  "granularitySpec" : {
    "rollup" : true,
    "type" : "uniform",
    "segmentGranularity" : "HOUR",
    "queryGranularity" : "MINUTE",
    "intervals" : ["2018-01-01/2018-01-02"]
  },
  "dimensionsSpec" : {
    "dimensions" : [
      "srcIP",
      {"name" : "srcPort", "type" : "long"},
      {"name" : "dstIP", "type" : "string"},
      {"name" : "dstPort", "type" : "long"},
      {"name" : "protocol", "type" : "string"}
    ]
  },
  "metricsSpec" : [
    {"type" : "count", "name" : "count"},
    {"type" : "longSum", "name" : "packets", "fieldName" : "packets"},
    {"type" : "longSum", "name" : "bytes", "fieldName" : "bytes"},
    {"type" : "doubleSum", "name" : "cost", "fieldName" : "cost"}
  ]
}
[root@bigdata001 apache-druid-0.22.1]#
  • 我们的数据时间有1点和2点的，所以会分成两个segment
  • __time会被保存为分钟粒度，比如"2018-01-01T01:01:35Z"保存为"2018-01-01T01:01:00Z"

3. 定义task type

  • dataSchema在所有task type中都一样
  • 但每个task type的其它部分定义的format不一样

本示例，我们使用本地batch数据插入spec，从本地文件读取数据

{
  "type" : "index_parallel",
  "spec" : {
    "dataSchema" : {
      "dataSource" : "ingestion-tutorial",
      "timestampSpec" : {
        "column" : "ts",
        "format" : "iso"
      },
      "granularitySpec" : {
        "rollup" : true,
        "type" : "uniform",
        "segmentGranularity" : "HOUR",
        "queryGranularity" : "MINUTE",
        "intervals" : ["2018-01-01/2018-01-02"]
      },
      "dimensionsSpec" : {
        "dimensions" : [
          "srcIP",
          {"name" : "srcPort", "type" : "long"},
          {"name" : "dstIP", "type" : "string"},
          {"name" : "dstPort", "type" : "long"},
          {"name" : "protocol", "type" : "string"}
        ]
      },
      "metricsSpec" : [
        {"type" : "count", "name" : "count"},
        {"type" : "longSum", "name" : "packets", "fieldName" : "packets"},
        {"type" : "longSum", "name" : "bytes", "fieldName" : "bytes"},
        {"type" : "doubleSum", "name" : "cost", "fieldName" : "cost"}
      ]
    }
  }
}

4. 定义数据输入源

在ioConfig中定义：

  • ioConfig也需要指定task type
  • 同时定义inputSource指定数据的来源
  • 定义inputFormat指定文件的数据格式
[root@bigdata001 apache-druid-0.22.1]# cat quickstart/tutorial/ingestion-tutorial-index.json 
{
  "type" : "index_parallel",
  "spec" : {
    "dataSchema" : {
      "dataSource" : "ingestion-tutorial",
      "timestampSpec" : {
        "column" : "ts",
        "format" : "iso"
      },
      "granularitySpec" : {
        "rollup" : true,
        "type" : "uniform",
        "segmentGranularity" : "HOUR",
        "queryGranularity" : "MINUTE",
        "intervals" : ["2018-01-01/2018-01-02"]
      },
      "dimensionsSpec" : {
        "dimensions" : [
          "srcIP",
          {"name" : "srcPort", "type" : "long"},
          {"name" : "dstIP", "type" : "string"},
          {"name" : "dstPort", "type" : "long"},
          {"name" : "protocol", "type" : "string"}
        ]
      },
      "metricsSpec" : [
        {"type" : "count", "name" : "count"},
        {"type" : "longSum", "name" : "packets", "fieldName" : "packets"},
        {"type" : "longSum", "name" : "bytes", "fieldName" : "bytes"},
        {"type" : "doubleSum", "name" : "cost", "fieldName" : "cost"}
      ]
    },
    "ioConfig" : {
      "type" : "index_parallel",
      "inputSource" : {
        "type" : "local",
        "baseDir" : "quickstart/tutorial",
        "filter" : "ingestion-tutorial-data.json"
      },
      "inputFormat" : {
        "type" : "json"
      }
    }
  }
}
[root@bigdata001 apache-druid-0.22.1]#

5. 其它优化参数

在tuningConfig中定义

  • 需要定义task type
  • 再指定针对该task type的优化参数

这里我们设置本地文件数据导入的优化参数，形成最终的spec

[root@bigdata001 apache-druid-0.22.1]# cat quickstart/tutorial/ingestion-tutorial-index.json 
{
  "type" : "index_parallel",
  "spec" : {
    "dataSchema" : {
      "dataSource" : "ingestion-tutorial",
      "timestampSpec" : {
        "column" : "ts",
        "format" : "iso"
      },
      "granularitySpec" : {
        "rollup" : true,
        "type" : "uniform",
        "segmentGranularity" : "HOUR",
        "queryGranularity" : "MINUTE",
        "intervals" : ["2018-01-01/2018-01-02"]
      },
      "dimensionsSpec" : {
        "dimensions" : [
          "srcIP",
          {"name" : "srcPort", "type" : "long"},
          {"name" : "dstIP", "type" : "string"},
          {"name" : "dstPort", "type" : "long"},
          {"name" : "protocol", "type" : "string"}
        ]
      },
      "metricsSpec" : [
        {"type" : "count", "name" : "count"},
        {"type" : "longSum", "name" : "packets", "fieldName" : "packets"},
        {"type" : "longSum", "name" : "bytes", "fieldName" : "bytes"},
        {"type" : "doubleSum", "name" : "cost", "fieldName" : "cost"}
      ]
    },
    "ioConfig" : {
      "type" : "index_parallel",
      "inputSource" : {
        "type" : "local",
        "baseDir" : "quickstart/tutorial",
        "filter" : "ingestion-tutorial-data.json"
      },
      "inputFormat" : {
        "type" : "json"
      }
    },
    "tuningConfig" : {
      "type" : "index_parallel",
      "maxRowsPerSegment" : 5000000
    }    
  }
}
[root@bigdata001 apache-druid-0.22.1]#

6. 提交任务

将ingestion-tutorial-data.json和ingestion-tutorial-index.json文件，分发到Druid集群其它服务器的quickstart/tutorial目录下

[root@bigdata001 apache-druid-0.22.1]# 
[root@bigdata001 apache-druid-0.22.1]# scp quickstart/tutorial/ingestion-tutorial-data.json root@bigdata002:/opt/apache-druid-0.22.1/quickstart/tutorial/
ingestion-tutorial-data.json                                                                                                             100% 1408   956.5KB/s   00:00    
[root@bigdata001 apache-druid-0.22.1]# scp quickstart/tutorial/ingestion-tutorial-index.json root@bigdata002:/opt/apache-druid-0.22.1/quickstart/tutorial/
ingestion-tutorial-index.json                                                                                                            100% 1373     1.4MB/s   00:00    
[root@bigdata001 apache-druid-0.22.1]#

在命令行执行task

[root@bigdata001 apache-druid-0.22.1]# bin/post-index-task --file quickstart/tutorial/ingestion-tutorial-index.json --url http://bigdata003:9081
Beginning indexing data for ingestion-tutorial
Task started: index_parallel_ingestion-tutorial_mclognkd_2022-04-01T02:55:13.038Z
Task log:     http://bigdata003:9081/druid/indexer/v1/task/index_parallel_ingestion-tutorial_mclognkd_2022-04-01T02:55:13.038Z/log
Task status:  http://bigdata003:9081/druid/indexer/v1/task/index_parallel_ingestion-tutorial_mclognkd_2022-04-01T02:55:13.038Z/status
Task index_parallel_ingestion-tutorial_mclognkd_2022-04-01T02:55:13.038Z still running...
Task index_parallel_ingestion-tutorial_mclognkd_2022-04-01T02:55:13.038Z still running...
Task index_parallel_ingestion-tutorial_mclognkd_2022-04-01T02:55:13.038Z still running...
Task finished with status: SUCCESS
Completed indexing data for ingestion-tutorial. Now loading indexed data onto the cluster...
[root@bigdata001 apache-druid-0.22.1]#

7. 查询结果数据

dsql> 
dsql> select * from "ingestion-tutorial";
┌──────────────────────────┬───────┬──────┬───────┬─────────┬─────────┬─────────┬──────────┬─────────┬─────────┐
│ __time                   │ bytes │ cost │ count │ dstIP   │ dstPort │ packets │ protocol │ srcIP   │ srcPort │
├──────────────────────────┼───────┼──────┼───────┼─────────┼─────────┼─────────┼──────────┼─────────┼─────────┤
│ 2018-01-01T01:01:00.000Z │  6000 │  4.9 │     3 │ 2.2.2.2 │    3000 │      60 │ 6        │ 1.1.1.1 │    2000 │
│ 2018-01-01T01:02:00.000Z │  9000 │ 18.1 │     2 │ 2.2.2.2 │    7000 │      90 │ 6        │ 1.1.1.1 │    5000 │
│ 2018-01-01T01:03:00.000Z │  6000 │  4.3 │     1 │ 2.2.2.2 │    7000 │      60 │ 6        │ 1.1.1.1 │    5000 │
│ 2018-01-01T02:33:00.000Z │ 30000 │ 56.9 │     2 │ 8.8.8.8 │    5000 │     300 │ 17       │ 7.7.7.7 │    4000 │
│ 2018-01-01T02:35:00.000Z │ 30000 │ 46.3 │     1 │ 8.8.8.8 │    5000 │     300 │ 17       │ 7.7.7.7 │    4000 │
└──────────────────────────┴───────┴──────┴───────┴─────────┴─────────┴─────────┴──────────┴─────────┴─────────┘
Retrieved 5 rows in 0.24s.

dsql>
Bulut0907
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
实时OLAP引擎之Apache Druid集群搭建手册
01-21
本教程将详细讲解如何搭建Apache Druid集群，以便于进行实时数据分析。 1. **Apache Druid概述** Apache Druid是用于大数据分析的列式存储系统，它支持快速的实时查询和摄取。Druid由多个组件构成，包括数据摄取、...
数据库批量插入这么讲究的么？
秦怀杂货店
01-04 1254
最近新的项目写了不少各种 insertBatch 的代码，一直有人说，批量插入比循环插入效率高很多，那本文就来实验一下,到底是不是真的？ 测试环境： SpringBoot 2.5 Mysql 8 JDK 8 Docker 首先，多条数据的插入，可选的方案： foreach循环插入 拼接sql，一次执行 使用批处理功能插入 搭建测试环境` sql文件： drop database IF EXISTS test; CREATE DATABASE test; use test; DROP TABLE IF
Druid 分析jpa批量插入
最新发布
mark_dwj的博客
01-05 859
重代码上看似乎是一个一个的save，其实不然，查看源码(这里不细说了)，jpa每次save都会先添加到action queue，在flush的时候，再通过insert action构造statement的batch操作，然后到达一个批量的时候才perform，达到一个batch的时候会调用executeBatch()。可以监控数据库访问性能，Druid 内置提供了一个功能强大的 StatFilter 插件，能够详细统计 SQL 的执行性能，这对于线上分析数据库访问性能有帮助。
druid导入数据的几种方式
weixin_34360651的博客
11-13 2458
2019独角兽企业重金招聘Python工程师标准>>> ...
Druid 入门 数据导入
weixin_33712881的博客
06-23 308
2019独角兽企业重金招聘Python工程师标准>>> ...
Druid连接TIDB数据库生成表和插入值代码
ahoges的博客
03-24 2274
/** * @author yanchenyang958@hellobike.com * @date 2022/3/15 5:57 下午 */ @EqualsAndHashCode(callSuper = true) @ConfigurationProperties(prefix = "datasource.tidb") @Component @Data @Slf4j public class TidbSource extends JDBCCacheSource { /** * .
apache-druid-chinese-docs:Apache Druid中文文档
05-03
Apache Druid是一个高性能的实时分析型数据库 [removed] (adsbygoogle = window.adsbygoogle || []).push({}); [removed] 云原生、流原生的分析型数据库 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时...
druid-prometheus-exporter:用于收集 Apache Druid 指标并将其导出到 Prometheus 的服务
05-29
Apache Druid Prometheus 导出器通过设置 Apache Druid 将指标推送到 HTTP 服务，您可以收集用于监控的指标。 此服务仅公开两个端点： /collect /metrics收集端点此端点是一个POST ，您可以在其中指示 Druid 将指标...
Druid数据源操作指南
10-28
Druid 是阿里巴巴的一款开源数据库连接池，基于 Apache 2.0 协议，可以免费自由使用。它不仅仅是一个数据库连接池，还包含一个 ProxyDriver，一系列内置的 JDBC 组件库，一个 SQL Parser。Druid 能够提供强大的监控...
eBay 打造基于 Apache Druid 的大数据实时监控系统
10-16
Apache Druid 是一个用于大数据实时查询和分析的高容错、高性能开源分布式时序数据库系统，旨在快速处理大规模的数据，并能够实现快速查询和分析。这篇文章主要介绍了eBay 如何打造基于 Apache Druid 的大数据实时...
Apache Druid介绍(一)
ChengYanan的博客
09-22 2967
原文：http://druid.apache.org/docs/latest/design/ 时间：2019年9月20日 Druid版本：0.15.1-incubating Druid是什么? Apache Druid (incubating)是为大型数据集上的高性能片断分析（“OLAP”查询）设计的数据存储。Druid通常用作为GUI分析应用程序提供动力的数据存储，或者用作需要快速聚合的高并发A...
Apache Druid数据导入
qq_35542970的博客
04-28 1813
0.17版本，Druid支持多种数据导入方式： UI界面，根据步骤和提示，一步步执行即可 UI界面，提交json格式的task文件 本地curl命令提交json格式的task文件 Druid家目录下，执行自带的post-index-task 个人感觉第一种和第3种用着比较方便。接下来对每种数据导入方式的操作步骤详细介绍。 1、UI界面 在浏览器输入http://broker:8888，...
druid 连接池操作mysql
AdleyTales的技术博客
02-13 262
url=jdbc:mysql://127.0.0.1/test?serverTimezone=UTC #这个可以缺省的，会根据url自动识别 driverClassName=com.mysql.cj.jdbc.Driver username=root password=root ##初始连接数，默认0 initialSize=10 #最大连接数，默认8 maxActive=30 #最小闲置数 minIdle=10 #获取连接的最大等待时间，单位毫秒 maxWait=2000 #缓存PreparedStat
Java springboot使用mybatis-plus druid连接池接入mysql和clickhouse多数据源 自定义sql实现批量插入array map复杂类型等
heasy's blog
04-29 6012
项目之前是springboot简单的mybatis接入mysql，后续需求要接入clickhouse，顺便借此机会引入mybatis-plus，因为在迭代过程中时不时要加字段，每次加字段都要手动改mapper.xml文件的resultmap等sql实在是很没必要。 但在接入之后，在往clickhouse插入测试数据时，使用了mybatis-plus自带的batchSave()方法，发现速度非常慢，完全不是clickhouse该有的写入速度。查阅源码发现其实框架里的batchSave是一个for循环，调用单
Druid源码解析之Column
小龙的博客
04-23 1199
Column是Druid中Segment的基础列的基础接口。其结构图如下所示：首先看下Column接口：public interface Column { public static final String TIME_COLUMN_NAME = "__time"; public ColumnCapabilities getCapabilities(); public int get...
JDBC druid流式读取mysql 亿级表，并将数据插入到doris
qq_31528769的博客
01-10 1632
JDBC druid流式读取mysql 亿级表，并将数据插入到doris
Apache Druid 平台化 - 数据接入篇
偷闲小苑
08-20 5201
文章目录数据接入背景方案设计druid 数据接入的一些经验一. hive 数据导入自动填充分区二. zstd 编码支持三. keberos四. druid-0.15.0 进程自动退出五. druid 对数据进行 ETL 数据接入 背景 使用界面化和 sql 的方式将数据导入到 druid，提供数据给后续告警，监控，查询等服务使用。 方案设计 数据源1：内部消息服务 dclog ，本质上是一个 ka...
OLAP 数据平台 Druid 第一步，编写 Spec 配置
码哥字节
09-27 635
本文参考 Druid 官方文档。Apache Druid 是一个集时间序列数据库、数据仓库和全文检索系统特点于一体的分析性数据平台（OLAP）。Druid 作为一个高可用、高性能和多特性...
Druid知识点及踩坑总结
攻城狮Kevin
02-20 1515
1. Druid中的intervals参数 "spec" : { "ioConfig" : { "type" : "hadoop", "inputSpec" : { "type" : "granularity", "dataGranularity" : "DAY", "inputPath" : "/HDFS路径...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值