![](https://img-blog.csdnimg.cn/f390acc31ae648a088905b2ca4e0fdf6.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
bigdatav024——olapdruid
OLAPDruid
yanqi_vip
strove with none, for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ——W.S.Landor
展开
-
CC00001.druid——|Hadoop&OLAP_Druid.V01|——|Druid.v01|简介架构概述|
一、Druid概述### --- 什么是Druid~~~ # 数据分析的基础架构可以分为以下几类:~~~ 使用Hadoop/Spark进行分析~~~ 将Hadoop/Spark的结果导入 RDBMS 中提供数据分析~~~ 将结果保存到容量更大的 NoSQL 数据库中,解决数据分析的存储瓶颈,例如:HBase~~~ 将数据源进行流式处...原创 2022-04-14 14:49:00 · 115 阅读 · 0 评论 -
CC00002.druid——|Hadoop&OLAP_Druid.V02|——|Druid.v02|简介架构|体系机构|
一、体系架构### --- Druid进程和服务~~~ # Coordinator ~~~ 进程管理群集上的数据可用性。~~~ 从metastore中读取Segment的元数据,并决定哪些Segments需要被加载到集群中。~~~ 使用ZooKeeper查看已经存在的历史节点,了解集群各个节点负载情况。~~~ 创建一个ZK的条目告诉...原创 2022-04-14 14:50:00 · 62 阅读 · 0 评论 -
CC00003.druid——|Hadoop&OLAP_Druid.V03|——|Druid.v03|部署|单服务器部署|
一、Druid 部署### --- 下载Druid版本包并解压版本包~~~ # 下载 Druid 安装包、并解压缩:~~~ # Druid官网:https://druid.apache.org/[root@hadoop01 ~]# cd /opt/yanqi/software/~~~ # 官网源下载地址[root@hadoop01 software...原创 2022-04-14 14:50:00 · 65 阅读 · 0 评论 -
CC00004.druid——|Hadoop&OLAP_Druid.V04|——|Druid.v04|部署|集群部署|
一、集群部署### --- 环境资源说明~~~ 虚拟机每个节点2core、3G~~~ DeepStorage:Hadoop 2.9.2### --- 部署规划:集群部署采用的分配如下~~~ 主节点部署 Coordinator 和 Overlord进程~~~ 数据节点运行 Historical 和 MiddleManager进程~~~...原创 2022-04-14 14:51:00 · 129 阅读 · 0 评论 -
CC00005.druid——|Hadoop&OLAP_Druid.V05|——|Druid.v05|入门|从kafka加载流式数据.V1|
一、从Kafka中加载流式数据### --- 从Kafka中加载流式数据~~~ 数据及需求说明:Druid典型应用架构:不在Druid中处理复杂的数据转换清洗工作### --- 假设有以下网络流量数据:~~~ ts:时间戳~~~ srcip:发送端 IP 地址~~~ srcport:发送端端口号~~~ dsti...原创 2022-04-14 14:55:00 · 238 阅读 · 0 评论 -
CC00006.druid——|Hadoop&OLAP_Druid.V06|——|Druid.v06|入门|从kafka加载流式数据.V2|
一、提取参数说明### --- 数据摄取规范~~~ dataSchema。指定传入数据的Schema~~~ ioConfig。指定数据的来源和去向~~~ tuningConfig。指定各种摄取参数{ "type": "kafka", "spec": { "ioConfig": Object { ... ...原创 2022-04-14 14:56:00 · 75 阅读 · 0 评论 -
CC00007.druid——|Hadoop&OLAP_Druid.V07|——|Druid.v07|入门|从HDFS加载数据.V1|
一、从HDFS中加载数据### --- 在hdfs中创建数据目录~~~ # 在kafka中准备配置文件[root@hadoop02 ~]# hdfs dfs -cat /data/druidlog.dat {"ts":"2021-10-01T00:01:35Z","srcip":"6.6.6.6", "dstip":"8.8.8.8", "srcport":6666...原创 2022-04-14 14:58:00 · 102 阅读 · 0 评论 -
CC00008.druid——|Hadoop&OLAP_Druid.V08|——|Druid.v08|架构|基础架构原理|
一、基础架构二、Druid 总体包含以下 6 类节点:### --- Coordinator node:~~~ 主要负责历史节点的数据负载均衡,以及通过规则管理数据的生命周期。~~~ 协调节点告诉历史节点加载新数据、卸载过期数据、复制数据、 和为了负载均衡移动数据。~~~ Coordinator 是周期性运行的(由 druid.coordi...原创 2022-04-14 15:21:00 · 78 阅读 · 0 评论 -
CC00009.druid——|Hadoop&OLAP_Druid.V09|——|Druid.v09|架构|数据存储|
一、数据存储### --- 数据存储~~~ Druid中的数据存储在被称为DataSource中,DataSource类似RDBMS中的 Table~~~ 每个DataSource按照时间划分,~~~ 每个时间范围称为一个Chunk(比如按天分区,则一个chunk为一天)~~~ 在Chunk中数据被分为一个或多个Segment~~~ ...原创 2022-04-14 15:21:00 · 65 阅读 · 0 评论 -
CC00010.druid——|Hadoop&OLAP_Druid.V10|——|Druid.v10|架构|索引服务|
一、索引服务### --- 索引服务~~~ 索引服务:数据导入并创建 segments 数据文件的服务~~~ 索引服务是一个高可用的分布式服务,采用主从结构作为架构模式,索引服务由三大组件构成~~~ overlord 作为主节点~~~ middlemanager是从节点~~~ peon用于运行一个task二、索引服务架构...原创 2022-04-14 15:21:00 · 78 阅读 · 0 评论 -
CC00011.druid——|Hadoop&OLAP_Druid.V11|——|Druid.v11|架构|索引压缩机制|
一、索引及压缩机制### --- Druid的查询时延低性能好的主要是因为采用了五个技术点:~~~ 数据预聚合~~~ 列式存储、数据压缩~~~ Bitmap 索引~~~ mmap(内存文件映射方式)~~~ 查询结果的中间缓存二、数据聚合### --- 数据预聚合~~~ Druid通过一个roll-up的处...原创 2022-04-14 15:22:00 · 99 阅读 · 0 评论 -
CC00012.druid——|Hadoop&OLAP_Druid.V12|——|Druid.v12|实战|Druid实战案例.V1|
一、需求分析### --- 场景分析~~~ 数据量大,需要在这些数据中根据业务需要灵活做查询~~~ 实时性要求高~~~ 数据实时的推过来,要在秒级对数据进行分析并查询出结果二、数据分析### --- 数据描述~~~ # 数据json串{"ts":1607499629841,"orderId":"100938...原创 2022-04-14 15:22:00 · 89 阅读 · 0 评论 -
CC00013.druid——|Hadoop&OLAP_Druid.V13|——|Druid.v13|实战|Druid实战案例.V2|
一、编程实现kafka生产者### --- 编程实现kafka生产者:在SparkBigData工程下创建scala程序:KafkaProducerForDruidpackage cn.yanqi.druidimport java.util.Propertiesimport org.apache.kafka.clients.producer.{KafkaProducer,...原创 2022-04-14 15:23:00 · 148 阅读 · 0 评论 -
CC00014.druid——|Hadoop&OLAP_Druid.V14|——|Druid.v14|实战|Druid实战案例.V3|
一、摄取kafka数据### --- 摄取kafka数据~~~ 摄取kafka数据:定义数据摄取规范,json数据要拉平,不用定义Rollup二、启动数据源### --- 启动数据源~~~ 启动数据源~~~ 数据查询三、加载数据...原创 2022-04-14 15:24:00 · 461 阅读 · 0 评论 -
CC00015.druid——|Hadoop&OLAP_Druid.V15|——|Druid.v15|实战|Druid实战案例.V4|
一、启动kafka生产者加载数据流### --- 查询数据流记录总数~~~ # 查记录总数select count(*) as recordcount from yanqidruid2### --- 查订单总数~~~ # 查订单总数select count(distinct orderId) as orderscount ...原创 2022-04-14 15:24:00 · 73 阅读 · 0 评论 -
CC00016.druid——|Hadoop&OLAP_Druid.V16|——|Druid.v16|实战|Druid实战案例.V5|
一、Druid案例小结### --- Druid案例总结~~~ 在配置摄入源时要设置为True从流的开始进行消费数据,否则在数据源中可能查不到数据~~~ Druid的join能力非常有限,分组或者聚合多的场景推荐使用~~~ sql支持能力也非常受限~~~ 数据的分区组织只有时间序列一种方式Walter Savage Landor:s...原创 2022-04-14 15:25:00 · 75 阅读 · 0 评论 -
CC00017.druid——|BigDataEnd|
NO:Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ...原创 2022-04-14 15:25:00 · 52 阅读 · 0 评论