云祁QI

文章目录一、前言二、什么是 Apache Superset?三、前提条件四、使用Superset一、前言E-MapReduce Druid集群集成了Superset工具。Superset对E-MapReduce Druid做了深度集成，同时也支持多种关系型数据库。由于E-MapReduce Druid也支持SQL，所以可以通过Superset以两种方式访问E-MapReduce Druid，即Apache Druid原生查询语言或者SQL。二、什么是 Apache Superset?Superset

本文将介绍在 E-MapReduce 中如何使用 Apache Druid Kafka Indexing Service 实时消费 Kafka 数据。

通过前面的学习，我们已经对 Apache Druid 有了初步的认识，包括它的原理、架构以及数据结构和数据摄取。接下来就得讲讲咱们阿里云 E-MapReduce (EMR) ，作为构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink 生态大数据 PaaS 产品，它集成的 Druid 有什么优势呢，我们一起来看看 ( •̀ ω •́ )✧。

文章目录一、数据格式二、配置2.1 DataSchema2.1.1 parser2.1.2 metricsSpec2.1.3 GranularitySpec2.2 ioConfig2.3 tuningConfig三、从 Hadoop 加载数据3.1 加载数据3.2 查询数据四、从 kafka 加载数据4.1 准备kafka4.2 启动索引服务4.3 加载历史数据4.4 加载实时数据4.5 加载自定义kafka 主题数据一、数据格式摄入规范化数据：JSON、CSV、TSV自定义格式其他格式二、

在 Apache Druid 部署和配置（单机版 / Docker 容器版 / Kubernetes 集群版）中，我们完成了单机版的配置，接下来基于 Imply 我们完成今天的入门Demo。

文章目录一、Apache Druid 部署1.1 单机版1.1.1 Jar 包下载1.1.2 Druid 的安装部署一、Apache Druid 部署1.1 单机版1.1.1 Jar 包下载从 https://imply.io/get-started 下载最新版本安装包1.1.2 Druid 的安装部署说明：imply 集成了Druid，提供了Druid 从部署到配置到各种可视化工具的完整的解决方案，imply 有点类似Cloudera Manager。1.解压tar -zxvf impl

与Druid 架构相辅相成的是其基于DataSource 与Segment 的数据结构，它们共同成就了Druid 的高性能优势。

Druid 是多进程架构，每种进程类型都可以独立配置，独立扩展。这样可以为集群提供最大的灵活度。这种设计还提供了强失效容忍：一个失效的组件不会立即影响另外的组件。下面我们来深入了解 Druid 有哪些进程类型，每种进程又在整个集群中扮演什么角色。

Druid 是一个分布式的支持实时分析的数据存储系统（Data Store）。美国广告技术公司MetaMarkets 于2011 年创建了Druid 项目，并且于2012 年晚期开源了Druid 项目。Druid设计之初的想法就是为分析而生，它在处理数据的规模、数据处理的实时性方面，比传统的OLAP 系统有了显著的性能改进，而且拥抱主流的开源生态，包括Hadoop 等。多年以来，Druid 一直是非常活跃的开源项目。