Apache Druid 实践及案例分享

最新推荐文章于 2024-08-03 15:32:20 发布
最新推荐文章于 2024-08-03 15:32:20 发布
阅读量2.1k 收藏 3
点赞数 1
文章标签： apache
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hell_oword/article/details/120544378
版权

Apache Druid 实践及案例分享

数据摄取

Druid 支持流式和批量两种方式的数据摄入，针对不同类型的数据，Druid 将外部数据源分为两种形式：

① 流式数据源（流式）

指的是持续不断地生产数据的数据源。例如：消息队列、日志、文件等

② 静态数据源（批量）

指的是数据已经生产完毕，不会有新数据产生的数据源，例如：文件系统的文件

流式数据可以通过两种方式来摄入：本地文件和远程文件

静态数据源数据摄取（本地文件）

案例：将本地文件的数据加载到 Druid 中，然后进行 SQL 操作

① 本地文件摄取，创建本地文件

mkdir -p /opt/server/druid/

# 创建本地文件
vim /opt/server/druid/stock-trade.json

# 添加以下内容到文件中

{"timestamp":"2019-10-01T01:03.00Z","sec_code":"浦发银行","platform":"pc","trade_vol":"20"}
{"timestamp":"2019-10-01T01:01.00Z","sec_code":"白云机场","platform":"pc","trade_vol":"10"}
{"timestamp":"2019-10-01T01:03.00Z","sec_code":"浦发银行","platform":"pc","trade_vol":"5"}
{"timestamp":"2019-10-01T05:01.00Z","sec_code":"浦发银行","platform":"pc","trade_vol":"1"}
{"timestamp":"2019-10-01T01:03.00Z","sec_code":"白云机场","platform":"pc","trade_vol":"8"}
{"timestamp":"2019-10-01T01:01.00Z","sec_code":"浦发银行","platform":"mobile","trade_vol":"7"}
{"timestamp":"2019-10-01T01:03.00Z","sec_code":"浦发银行","platform":"pc","trade_vol":"6"}
{"timestamp":"2019-10-01T03:01.00Z","sec_code":"东风汽车","platform":"pc","trade_vol":"5"}
{"timestamp":"2019-10-01T01:03.00Z","sec_code":"浦发银行","platform":"pc","trade_vol":"7"}
{"timestamp":"2019-10-01T01:01.00Z","sec_code":"白云机场","platform":"pc","trade_vol":"8"}
{"timestamp":"2019-10-01T05:03.00Z","sec_code":"浦发银行","platform":"mobile","trade_vol":"9"}
{"timestamp":"2019-10-01T01:01.00Z","sec_code":"东风汽车","platform":"pc","trade_vol":"23"}
{"timestamp":"2019-10-01T01:03.00Z","sec_code":"浦发银行","platform":"pc","trade_vol":"5"}
{"timestamp":"2019-10-01T01:01.00Z","sec_code":"白云机场","platform":"pc","trade_vol":"1"}
{"timestamp":"2019-10-01T03:03.00Z","sec_code":"浦发银行","platform":"mobile","trade_vol":"1"}
{"timestamp":"2019-10-01T01:01.00Z","sec_code":"东风汽车","platform":"pc","trade_vol":"2"}
{"timestamp":"2019-10-01T01:03.00Z","sec_code":"浦发银行","platform":"pc","trade_vol":"3"}
{"timestamp":"2019-10-01T05:01.00Z","sec_code":"浦发银行","platform":"pc","trade_vol":"5"}
{"timestamp":"2019-10-01T01:03.00Z","sec_code":"浦发银行","platform":"mobile","trade_vol":"6"}
{"timestamp":"2019-10-01T01:01.00Z","sec_code":"东风汽车","platform":"pc","trade_vol":"3"}

② 将 stock_trade.json 分发到其他 Druid 节点相同的目录

注意：数据要保持在各个节点都要有，否则会出现任务执行成功，但是没有 DataSource 的情况

# 在 node1 操作
scp /opt/server/druid/stock-trade.json node2:$PWD
scp /opt/server/druid/stock-trade.json node3:$PWD

③ 发送创建 DataSource 的请求

{
  "spec": {
  	  "dataSchema": {
	    "dataSource": "stock_trade",
	    "parser": {
	      "type": "String",
	      "parseSpec": {
	        "format": "json",
	        "dimensionsSpec": {
	          "dimensions": [
	            "sec_code",
	            "platform"
	          ]
	        },
	        "timestampSpec": {
	          "column": "timestamp",
	          "format": "auto"
	        }
	      }
	    },
	    "metricsSpec": [
	      {
	        "type": "count",
	        "name": "count"
	      },
	      {
	        "type": "longSum",
	        "name": "trade_vol",
	        "fieldName": "trade_vol",
	        "expression": null
	      }
	    ],
	    "granularitySpec": {
	      "type": "uniform",
	      "segmentGranularity": "DAY",
	      "queryGranularity": "HOUR",
	      "rollup": true,
	      "intervals": [
	        "2019-10-01T00:00:00.000Z/2019-10-03T00:00:00.000Z"
	      ]
	    },
	    "transformSpec": {
	      "filter": null,
	      "transforms": []
	    }
	  },
	  "ioConfig": {
	    "type": "index",
	    "firehose": {
	      "type": "local",
	      "baseDir": "/opt/server/druid",
	      "filter": "stock-trade.json",
	      "parser": null
	    },
	    "appendToExisting": false
	  },
	  "tuningConfig": {
	    "type": "index",
	    "maxRowsPerSegment": null,
	    "maxRowsInMemory": 1000000,
	    "maxBytesInMemory": 0,
	    "maxTotalRows": null,
	    "numShards": null,
	    "partitionDimensions": [],
	    "indexSpec": {
	      "bitmap": {
	        "type": "concise"
	      },
	      "dimensionCompression": "lz4",
	      "metricCompression": "lz4",
	      "longEncoding": "longs"
	    },
	    "maxPendingPersists": 0,
	    "buildV9Directly": true,
	    "forceGuaranteedRollup": false,
	    "reportParseExceptions": false,
	    "pushTimeout": 0,
	    "segmentWriteOutMediumFactory": null,
	    "logParseExceptions": false,
	    "maxParseExceptions": 2147483647,
	    "maxSavedParseExceptions": 0
	  }
  },
  "type": "index"
}

在这里插入图片描述
④ 查看 DataSource
在这里插入图片描述
在这里插入图片描述
⑤ SQL 查询

-- 查看各个股票在各个平台的成交总量
SELECT
  sec_code,
  platform,
  SUM(trade_vol) AS total_trade_vol
FROM "stock_trade"
WHERE TIME_FORMAT("__time", 'yyyyMMdd') = '20191001'
GROUP BY sec_code, platform

在这里插入图片描述

静态数据源数据摄取（HDFS文件）

案例：加载 HDFS 上的数据到 Druid 中，然后进行 SQL 操作

# 执行原理
1. Druid 使用 HadoopDruidIndexer 加载批量数据，将数据生成 segments 文件，存放在HDFS上
2. 从 HDFS 下载 segments 文件到本地
3. 然后遍可从Druid中查询数据

① 创建文件 wiki-visit-log.json 文件并上传到 HDFS 中

vim wiki-visit-log.json

# 上传到 HDFS 中
hdfs dfs -put wiki-visit-log.json /tmp/logs

{"time":"2015-09-12T00:47:00.496Z","channel":"#ca.wikipedia","cityName":null,"comment":"Robot inserta {{Commonscat}} que enllaça amb [[commons:category:Rallicula]]","countryIsoCode":null,"countryName":null,"isAnonymous":false,"isMinor":true,"isNew":false,"isRobot":true,"isUnpatrolled":false,"metroCode":null,"namespace":"Main","page":"Rallicula","regionIsoCode":null,"regionName":null,"user":"PereBot","delta":17,"added":17,"deleted":0}
{"time":"2015-09-12T00:47:05.474Z","channel":"#en.wikipedia","cityName":"Auburn","comment":"/* Status of peremptory norms under international law */ fixed spelling of 'Wimbledon'","countryIsoCode":"AU","countryName":"Australia","isAnonymous":true,"isMinor":false,"isNew":false,"isRobot":false,"isUnpatrolled":false,"metroCode":null,"namespace":"Main","page":"Peremptory norm","regionIsoCode":"NSW","regionName":"New South Wales","user":"60.225.66.142","delta":0,"added":0,"deleted":0}
{"time":"2015-09-12T00:47:08.770Z","channel":"#vi.wikipedia","cityName":null,"comment":"fix Lỗi CS1: ngày tháng","countryIsoCode":null,"countryName":null,"isAnonymous":false,"isMinor":true,"isNew":false,"isRobot":true,"isUnpatrolled":false,"metroCode":null,"namespace":"Main","page":"Apamea abruzzorum","regionIsoCode":null,"regionName":null,"user":"Cheers!-bot","delta":18,"added":18,"deleted":0}
{"time":"2015-09-12T00:47:11.862Z","channel":"#vi.wikipedia","cityName":null,"comment":"clean up using [[Project:AWB|AWB]]","countryIsoCode":null,"countryName":null,"isAnonymous":false,"isMinor":false,"isNew":false,"isRobot":true,"isUnpatrolled":false,"metroCode":null,"namespace":"Main","page":"Atractus flammigerus","regionIsoCode":null,"regionName":null,"user":"ThitxongkhoiAWB","delta":18,"added":18,"deleted":0}
{"time":"2015-09-12T00:47:13.987Z","channel":"#vi.wikipedia","cityName":null,"comment":"clean up using [[Project:AWB|AWB]]","countryIsoCode":null,"countryName":null,"isAnonymous":false,"isMinor":false,"isNew":false,"isRobot":true,"isUnpatrolled":false,"metroCode":null,"namespace":"Main","page":"Agama mossambica","regionIsoCode":null,"regionName":null,"user":"ThitxongkhoiAWB","delta":18,"added":18,"deleted":0}
{"time":"2015-09-12T00:47:17.009Z","channel":"#ca.wikipedia","cityName":null,"comment":"/* Imperi Austrohongarès */","countryIsoCode":null,"countryName":null,"isAnonymous":false,"isMinor":false,"isNew":false,"isRobot":false,"isUnpatrolled":false,"metroCode":null,"namespace":"Main","page":"Campanya dels Balcans (1914-1918)","regionIsoCode":null,"regionName":null,"user":"Jaumellecha","delta":-20,"added":0,"deleted":20}

在这里插入图片描述

流式数据源数据摄取（Kafka）

① 创建 topic

cd /opt/server/kafka_2.12-2.4.1
bin/kafka-topics.sh --create --zookeeper node1:2181 --partitions 1 --replication-factor 1 --topic metrics

② 提交索引任务

③ 通过 WEB-UI 界面创建任务在这里插入图片描述
④ 启动 Kafka 生产者

# 启动
bin/kafka-topics.sh --create --zookeeper node1:2181 --partitions 1 --replication-factor 1 --topic metrics

# 添加 1 条数据
{"time":"2019-07-23T17:57:58Z","url":"/foo/bar","user":"alice","latencyMs":32}

⑤ 配置任务信息

Connect
在这里插入图片描述
Parse Data
在这里插入图片描述

ParseTime

在这里插入图片描述
Transform
在这里插入图片描述
Filter
在这里插入图片描述
Configure Schema
在这里插入图片描述
Partition
在这里插入图片描述
Tune
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
⑥ 任务提交后查看
在这里插入图片描述
在这里插入图片描述
⑦ SQL 查询
在这里插入图片描述

半吊子Kyle
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Druid迁移方案
JustinMars的博客
10-21 514
Druid数据迁移方案 描述：Druid数据包括两部分，一部分来自深度存储的数据，通常存储在HDFS中，而另一部分则是Druid的元数据信息，通常存储在MySQL中（也有可能是Darby，此次选择MySQL）。 方案：分为两部分。其一，使用Hadoop的discp命令（分布式拷贝）将源Druid的HDFS集群数据远程拷贝到目标Druid的HDFS集群上。其二，将存储在Mysql上的源Druid元数据信息复制到目标Druid的Mysql数据库中。 HDFS数据迁移 HDFS集群数据迁移可以使用discp
Druid原理与代码实例讲解
禅与计算机程序设计艺术
07-08 907
Druid原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：实时数据存储与检索，Apache Druid，时序数据处理，高性能查询引擎，数据聚合与可视化 1.背景介绍
深度分析Apache Druid：定义、对比、使用场景、选型指南及注意事项
weixin_48313678的博客
06-24 804
是一款开源的分布式数据存储和查询系统，专为实时数据摄取、快速查询和高吞吐量设计。Druid结合了数据仓库、时间序列数据库和搜索系统的特点，适用于需要低延迟、高并发查询的场景。Druid的核心功能包括实时数据摄取、OLAP查询、高可用性和水平扩展性。Apache Druid作为一款高性能的分布式数据存储和查询系统，在实时数据分析、交互式分析和时间序列数据处理等场景中表现出色。通过与其他同类型数据库的对比，本文详细分析了Druid的优缺点、使用场景和选型指南，并提供了使用时的注意事项。
Apache Beam 架构原理及应用实践
2401_85763924的博客
06-28 915
小编这些年深知大多数初中级工程师，想要提升自己，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此我收集整理了一份《2024年Java全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！如果你需要这些资料，⬅专栏获取嘉宾介绍张海涛，海康威视金融事业部架构师，国际注册云安全系统认证专家。
【实践案例分享】Apache Flink在滴滴的应用与实践
木东居士
04-28 290
导读：Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境，对各种大小的数据规模进行快速计算。滴滴基于 Apache Fl...
【实践案例分享】Apache Doris在美团外卖数仓中的应用实践
木东居士
04-16 555
美团外卖数据仓库通过MOLAP+ROLAP双引擎模式来适配不同应用场景。MOLAP引擎使用了Apache Kylin。ROLAP我们经过综合考虑，选择了Apache Doris。本文将介...
druid安装与案例
weixin_34123613的博客
01-23 2758
2019独角兽企业重金招聘Python工程师标准>>> ...
Apache Durid(入门 安装 数据摄取 查询 集成SpringBoot)
m0_46690280的博客
08-21 1997
Apache DuridApache Durid1. Durid概述1.1 为什么使用1.1.1 云原生数据库1.1.2 轻松集成1.1.3 超高性能1.1.4 工作流1.1.5 多种部署方式1.2 使用场景1.2.1 常见的使用场景1.2.1.1 用户活动和行为1.2.1.2 网络流1.2.1.3 数字营销1.2.1.4 应用性能管理1.2.1.5 物联网和设备指标1.2.1.6 OLAP和商业智能1.2.2 适合的场景1.2.3 不适合的场景2. Durid是什么2.1 主要特性2.3 和其他技术对比
Netflix公司Druid应用实践
微信搜：import_bigdata，大数据领域硬核原创作者
03-25 302
Netflix(Nasdaq NFLX)，也就是网飞公司，成立于1997年，是一家在线影片[租赁]提供商，主要提供Netflix超大数量的[DVD]并免费递送，总部位于美国加利福尼亚州洛斯...
Apache Kylin 概述
weixin_41269466的博客
07-11 24
1 Kylin是什么 今天，随着移动互联网、物联网、AI等技术的快速兴起，数据成为了所有这些技术背后最重要，也是最有价值的“资产”。如何从数据中获得有价值的信息？这个问题驱动了相关技术的发展，从最初的基于文件的检索、分析程序，到数据仓库理念的诞生，再到基于 数据库的商业智能分析。而现在，这一问题已经变成了如何从海量的超大规...
大数据实时计算系统实践Flink+Druid配套PPT
01-28
8. **Druid实践介绍**：通过实际案例，展示如何利用Druid解决实时数据分析问题，包括数据预处理、索引构建和查询优化。 9. **Druid架构设计**：深入解析Druid的各个组件，如Broker、DataNode、Historical和Realtime...
baseDAO及其实现案例、jdbcUtil工具类、数据池c3p0、dbcp、druid驱动及实现方式
05-03
在提供的`baseDAO案例及测试.zip`文件中，我们可以看到如何结合`Customer`类来实现具体的数据库操作。 `JDBCUtil`工具类是对JDBC API的进一步封装，它简化了数据库连接的创建、关闭等过程，避免了资源泄露。常见的`...
SpringMVC+MyBatis+druid+Dubbo+Zookpper案例.zip
02-02
通过对这个案例的学习和实践，开发者可以深入理解如何构建一个完整的分布式微服务系统，包括前端请求的处理、数据库操作、服务间的通信以及服务治理等多个方面，这对于提升Java开发者的技能和经验具有很大的帮助。
SSM框架案例仅供记录学习
06-05
- 数据源配置：配置数据源，连接数据库，通常使用` Druid `或`Apache DBCP`等连接池。 - 事务管理：配置事务管理器，一般使用Spring的`PlatformTransactionManager`。 - 编写业务逻辑：实现Service接口，注入DAO...
【Apache Kafka深入】Kafka集群的配置与管理
weixin_39372311的博客
08-03 485
由于其高吞吐量、低延迟、容错性和持久性，Kafka 被广泛应用于日志收集、消息系统、流处理、监控数据等领域。本文将详细介绍 Kafka 集群的配置与管理，帮助你更好地部署和运维 Kafka 集群。可以使用 Kafka 自带的 JMX（Java Management Extensions）监控工具，或者使用第三方监控工具（如 Prometheus、Grafana）来监控 Kafka 集群的运行状态。通过上述方法，可以有效配置和管理 Kafka 集群，确保其高效稳定地运行。是存储 Kafka 日志数据的目录，
Apache Kafka 生产者 API 详解
最新发布
Java领域优秀创作者
08-03 520
本文详细介绍了 Apache Kafka 生产者 API 的使用，包括配置、消息发送、错误处理和性能优化。通过理解和实践这些内容，可以帮助你更好地使用 Kafka 生产者进行高效、可靠的数据传输。希望本文对你有所帮助，如有任何疑问或建议，欢迎留言讨论。
【Apache Doris】周FAQ集锦：第 18 期
ith321的博客
08-02 597
【Apache Doris】周FAQ集锦：第 18 期
Apache Druid rce漏洞
04-27
关于Apache Druid的RCE漏洞，我可以为您提供一些基本信息。Apache Druid是一个高性能、实时分析数据的开源数据存储系统，常用于数据探索和可视化分析。2021年5月，Apache Druid官方发布了一份安全公告，称该软件存在一个高风险的远程代码执行（RCE）漏洞，该漏洞可能导致攻击者可以通过恶意负载文件执行任意代码，甚至可能完全控制受影响的系统。建议用户及时升级到受影响版本的补丁版本。同时，我们也应该加强对系统的安全审计和管理，以及对软件漏洞的及时关注和处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值