druid中CostBalancerStrategy三个参数代表意思

最新推荐文章于 2022-09-08 13:58:45 发布
最新推荐文章于 2022-09-08 13:58:45 发布
阅读量277 收藏
点赞数
分类专栏： druid 文章标签： druid
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42618907/article/details/88417187
版权 



源码中:
CostBalancerStrategy
segment是druid的工作单元。当执行一个query的时候，每个segment被分配给一个 core，各个segment并行计算。想最大限度的使用CPU cores。 coordinator节点负责分发各个segment. segment放在尽可能多的server上，最大化并行计算；查找segment大小对CPU占有 率的影响. cost是均衡算法,raw是用来统计segment的cpu占用大小.normalization是用来统计 CPU cores的大小.normalized的计算结果是每个查询占用的CPU大小.

 

 

 

ღsakura
关注
专栏目录
i 技术会笔记 | Druid在爱奇艺的实践和技术演进
爱奇艺技术产品团队
05-29 1501
- 导读 -最近几年大数据技术在各行各业得到广泛应用，为企业的运营决策和各种业务提供支持。随着数据的增长，业务对数据时效性的要求，给企业的大数据分析带来了巨大挑战。针对海量数据的实时分析...
Druid中的负载均衡策略分析
小龙的博客
04-09 2001
在生产环境中，Druid查询通常能够命中多个（几十或几百个）segment。由于His节点的资源有限，所以segment需要被按照一定的策略均匀的分不到整个集群中，以确保集群的负载不会出现倾斜。要确定最佳的负载分布，需要对业务，查询模式和速度有一定的了解。通常，Druid查询回复改一个独立数据源中最近一段临近时间的一批segment。总体来说，查询更小的segment速度更快。通过以上，我们需要以...
apache-druid在大数据行业应用中的查询性能优化
LazyTojava的博客
01-25 922
1.Coordinator瓶颈 • 实时索引任务经常被阻塞 Druid的Handoff总结如下，索引节点将Segment持久化到HDFS，然后Coordinator制定调度策略，将计划发布到ZooKeeper。历史节点从ZooKeeper获取计划后异步地加载Segment。当历史节点加载完Segment索引节点的Handoff过程才结束。这个过程中，由于Coordinator制定计划是单线程串行的，如果一次触发了大量Segment加载，执行计划制定就会很慢，从而会阻塞Handoff过程，进而索引节点所.
Druid Segment Balance 及其代价计算函数分析
weixin_33755554的博客
04-08 393
一. 引言 Druid 的查询需要有实时和历史部分的 Segment，历史部分的 Segment 由 Historical 节点加载，所以加载的效率直接影响了查询的 RT（不考虑缓存）。查询通常需要指定一个时间范围[StartTime, EndTime]，该时间范围的内所有 Segment 需要由 Historical 加载，最差的情况是所有 Segment 不幸都储存在一个节点上，加载无疑会很慢...
OLAP分析引擎Druid配置文件详解（三）：coordinator配置文件
gan785160627的博客
04-12 1029
摘要：   本文是Druid配置文件系列博文的第三篇，之前的文章已经介绍了Druid配置文件整体的组织结构以及公共配置文件，接下来将逐个介绍Druid的五大组件，本文是第一个组件Coordinator的介绍。 以下配置都在coordinator/runtime.properties文件中。 Coordinator Process Config 属性 含义 备注 是否需要修改 dr...
DRUID-1.0.9（三个jar包）
09-05
DRUID是阿里巴巴开源平台上一个数据库连接池实现，它结合了C3P0、DBCP、PROXOOL等DB池的优点，同时加入了日志监控，可以很好的监控DB池连接和SQL的执行情况，可以说是针对监控而生的DB连接池
apache-druid-chinese-docs:Apache Druid中文文档
05-03
Apache Druid是一个高性能的实时分析型数据库 [removed] (adsbygoogle = window.adsbygoogle || []).push({}); [removed] 云原生、流原生的分析型数据库 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时...
druid-1.1.10-API文档-中文版.zip
06-06
赠送jar包：druid-1.1.10.jar； 赠送原API文档：druid-1.1.10-javadoc.jar； 赠送源代码：druid-1.1.10-sources.jar； 赠送Maven依赖信息文件：druid-1.1.10.pom； 包含翻译后的API文档：druid-1.1.10-javadoc-API...
druid-1.1.16-API文档-中文版.zip
07-09
赠送jar包：druid-1.1.16.jar； 赠送原API文档：druid-1.1.16-javadoc.jar； 赠送源代码：druid-1.1.16-sources.jar； 赠送Maven依赖信息文件：druid-1.1.16.pom； 包含翻译后的API文档：druid-1.1.16-javadoc-API...
2、Druid的入门示例（使用三种不同的方式摄入数据和提交任务）
05-24
通过文中提到的三个示例，读者可以逐步了解并实践Druid的基本操作，为进一步深入学习和使用Druid打下基础。同时，对Druid的配置文件、Roll-up策略以及API的详细理解和使用，也是提升Druid性能和适应性的重要环节。
druid 第一次查询慢_i 技术会笔记 | Druid在爱奇艺的实践和技术演进
weixin_35197116的博客
11-30 640
- 导读 -最近几年大数据技术在各行各业得到广泛应用，为企业的运营决策和各种业务提供支持。随着数据的增长，业务对数据时效性的要求，给企业的大数据分析带来了巨大挑战。针对海量数据的实时分析需求，近年来市场上涌现出众多OLAP分析引擎。这些OLAP引擎有各自的适用场景和优缺点，如何选择一款合适的引擎来更快地分析数据、更高效地挖掘数据的潜在价值？爱奇艺大数据服务团队评估了市面上主流的OLAP引擎，最终选...
Druid.io从0.10.0到0.12.0新特性介绍
小龙的博客
04-05 2097
Druid-0.10.0新特性1. 内置SQL查询Druid在该版本提供了一个由Apache Calcite支持的内置SQL查询。它提供了两种查询类型：HTTP POST和JDBC。这为开发人员提供了一种新的JSON查询方式的替代方案，并且可以更容易的集成已有原生SQL的应用程序。该版本的SQL尚无法支持全部的JSON功能。在未来的版本中会陆续支持。启用Druid的SQL查询的方式为在配置文件中设...
Druid的Coordinator负载均衡原理
yxx1173的博客
12-28 1780
此方法在Druid 0.9.1.1 release版本中已上线。 segment是druid的工作单元。当执行一个query的时候，每个segment被分配给一个core，各个segment并行计算。query的查询范围从几小时到几周不等，对每个查询，我们想最大限度的使用CPU cores。因此，对每一个给定的时间段，我们要把data放在尽可能多的server上，即跨多个服务器分散数据。
Apache Druid数据查询套件详解计数、排名和分位数计算（送JSON-over-HTTP和SQL两种查询详解）
博学谷狂野架构师的博客
09-08 1323
Bound Filter是比较过滤器，包含大于，等于，小于三种，它默认支持的就是字符串比较，是基于字典顺序，如果使用数字进行比较，需要在查询中设定alpaNumeric的值为true，需要注意的是Bound Filter默认的大小比较为>=或者
Apache Druid 0.18.1使用准确值去重方式
极客编程的专栏
05-31 985
Apache druid 中的 COUNT(DISTINCT expr) 默认是使用 近似值算法HyperLogLog. 原来介绍过druid本身是为了海量数据分析而设计，所以在大数据量的情况下，使用近似值算法，速度更快。但有的需求，数据量本身较小，对数据的精准性要求比较高。不希望使用近似值的方式。
Druid大数据实时处理的开源分布式系统——Historical Node
我是Alvin家鸡鸭鱼的小米米
10-23 1293
最近开始整理有关Druid的技术知识。以下是第二篇关于Historical Node。 Historical 主要完成如下功能： 1. Loading and ServingSegments 2. Loading and ServingSegments From Cache Historical Node的职责单一，就是负责加载Druid中非实时窗口内且满足加载规则的所
数据挖掘中的中位数
jackyrongvip的专栏
12-21 411
  在数据挖掘的学习中，遇到了中位数的概念，一GOOGLe之下，其实发现以前的课本等是没学习到的，但现在的中小学生都有学了，现在复习一下  中位数的含义 中位数是将数据按大小顺序排列起来，形成一个数列，居于数列中间位置的那个数据就是中位数。中位数用Me表示。 从中位数的定义可知，所研究的数据中有一半小于中位数，一半大于中位数。中位数的作用与算术平均数相近，也是作为所研究数据的代表值。在一个等差数列...
阿里Druid连接池的坑。。
热门推荐
Java技术栈，分享最主流的Java技术
01-07 1万+
Druid的坑 当查询数据库的Clob转换为Oracle Clob类型的时候。 java.lang.ClassCastException: com.alibaba.druid.proxy.jdbc.ClobProxyImpl cannot be cast to oracle.sql.CLOB 问题原因 ClobProxyImpl不能转换为Oracle的Clob字段，这也是醉了。
数据库连接池的作用
Wang_huanA的博客
01-17 8124
概念： 数据库连接池是程序启动时建立足够的数据库连接，并将这些连接组成一个连接池，由程序动态地对池中的连接进行申请，使用，释放。 作用： 1.资源重用，避免了数据库连接频繁建立、关闭的开销 2.更快的系统响应速度，直接从连接池中获取连接，响应速度加快 3.控制资源的使用。如果不使用连接池，每次访问数据库都需要创建一个连接，这样系统的稳定性受系统连接需求影响很大，很容易产生资源浪费和高负载异常。连接...
druid maxWaitThreadCount 这个参数怎么配置
最新发布
07-15
对于Druid的maxWaitThreadCount参数，它用于控制连接池中等待可用线程的最大数量。当连接池中的线程已经达到最大数量，并且所有线程都在使用时，新的请求将被放置在等待队列中，直到有可用的线程。 要配置这个参数，你可以按照以下步骤进行操作： 1. 打开Druid的配置文件，通常是druid.properties或druid.yml。 2. 在配置文件中找到或添加以下属性：`druid.maxWaitThreadCount`。 3. 设置`druid.maxWaitThreadCount`的值为你想要的最大等待线程数量。例如，设置为100表示最多允许100个请求在等待队列中等待。 4. 保存配置文件并重启Druid服务，以使配置生效。 请注意，设置maxWaitThreadCount过高可能会导致资源浪费和性能下降。因此，你应该根据你的应用需求和系统资源来调整这个参数。在负载测试和监控下进行适当调整，以获得最佳性能和资源利用率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值