ClickHouse部署全攻略——优化配置

已于 2023-07-05 16:15:19 修改
阅读量147 收藏
点赞数
分类专栏： ClickHouse 文章标签： clickhouse
于 2023-06-14 15:49:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bbsxb520/article/details/131209197
版权

目录

内存优化

不要禁用overcommit

始终禁用透明大页

最大内存使用量

group使用内存

order by使用内存

CPU优化

同时处理的最大请求数

允许删除表或分区的大小

修改背景池大小

后台线程池大小

设置执行后台任务线程数

设置分布式发送执行后台任务线程数

修改日志级别 

  • 内存优化

不要禁用overcommit

  • 查看配置文件的值应为0或1
cat /proc/sys/vm/overcommit_memory
  • 修改overcommit
echo 0 > /proc/sys/vm/overcommit_memory

始终禁用透明大页

  • 禁用透明大页
echo 'never' > /sys/kernel/mm/transparent_hugepage/enabled

最大内存使用量

  • 进入配置文件目录，编辑users.xml配置文件
vim /etc/clickhouse-server/users.xml
  • 若物理内存为128G，为OS保留部分，设置为100GB。
<max_memory_usage>100000000000</max_memory_usage>

group使用内存

  • 进入配置文件目录，编辑users.xml配置文件
vim /etc/clickhouse-server/users.xml
  • 在<profiles>中进行添加。一般配置为max_memory_usage的一半。当group使用内存超过
最低0.47元/天 解锁文章
家里有只小螃蟹
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一篇文章学会调优 ClickHouse
Shockang的博客
12-04 1450
本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ClickHouse 的通用优化配置如下表所示，大部分配置需要根据线上实际楼况进行优化，具体需要优化的配置可参考官方文档：https://clickhouse.tech/docs/en/operations/settings/query-complexityhttps://clickhouse.tech/docs/en/operations/settings/用户在查询数据时，可以参考如下几点对 SQ
ClickHouse调优（一）基本调优
Yuan_CSDF的博客
01-03 4817
1、执行计划调优 在clickhuse20.6版本之前要查看SQL语句的执行计划需要设置日志级别为trace才能可以看到并且只能真正执行sql，在执行日志里面查看。在20.6版本引入了原生的执行计划的语法。在20.6.3版本成为正式版本的功能。 1.1、基本语法 EXPLAIN [AST | SYNTAX | PLAN | PIPELINE] [setting = value, ...] select ...[FORMAT ...] PLAN：用于查看执行计划，默认值。 h...
clickhouse简单使用及优化
replaceit的博客
03-28 470
clickhouse使用及优化
clickhouse,硬件管理与优化(cpu,内存,网络,存储,操作系统配置),profile管理，Quotas设置，约束管理，查询权限，用户管理配置等
花&败
05-04 4573
1.运维管理与优化 1.1)硬件管理与优化 1.1.1)CPU ClickHouse的并行数据处理机制，使得其能利用所有可用的硬件资源。在选择CPU处理器时，应选择更多核心数而不是更高频率的处理器。 例如：频率为2600MHz的16核心处理器比3600MHz的8核心的处理器的效率更高。 建议使用Turbo Boost和超线程技术，在高工作负载情况下能显著提高性能。 ...
clickhouse调优配置
好记性不如烂笔头
09-04 1187
clickhouse配置调优
使用ClickHouse的机器学习——Machine Learning with ClickHouse.pdf
04-01
6. 模型部署：ClickHouse可以将机器学习模型部署到生产环境中，以便对新数据进行预测和分析。 7. 数据可视化：ClickHouse提供了多种数据可视化工具，例如图表、表格、heatmap等，可以帮助用户快速地对数据进行可视...
clickhouse部署说明.pdf
07-31
该文档介绍click的单机和集群部署安装。提供了硬件要求，部署模式，以及集群扩容的方式。
clickhouse专用chproxy负载分发配置
11-27
chproxy开源官方推荐配置.另外，根据本地实测，yml配置文件需要注意如下细节：a).“-”后面要有一个空格；b).“-”后面的子行要相对于当前行空格两个空格；c).开头的server和users是同级别的；
clickhouse 熔断机制配置文件
最新发布
09-20
clickhouse 熔断机制配置文件
clickhouse集群部署
07-17
clickhouse集群安装脚本——贵宾版。 可以自行修改，简洁易用。 实验证明，所部署的clickhouse集群具备高可用和稳定性。 注意！！！下载后3个月内提供免费维护！！！
20_clickhouse,硬件管理与优化(cpu,内存,网络,存储,操作系统配置),profile管理，Quotas设置，约束管理，查询权限，用户管理配置等
涂作权的博客
12-17 5226
26.运维管理与优化 26.1.硬件管理与优化 26.1.1.CPU 26.1.2.内存 26.1.3.网络 26.1.4.存储 26.2.操作系统的配置 26.2.1.CPU频率调整策略 26.2.2.关闭透明大页 26.2.3.禁用swap文件 26.2.4.内核分配策略 26.3.彻底理解ClickHouse的配置文件 26.3.1.用户设置 26.3.2.重复设置项的处理 26.3.3.预处理文件 26.3.4.ZooKeeper的关键优化点 26.3.5.服务监控 26.3.5.1.系统表 26.
Clickhouse 20.4.集群搭建
vkingnew 的技术博客
07-09 778
1.准备工作： 2.安装部署： 3.检查核对：
clickhouse 参数优化配置
孤傲然的博客
07-01 8227
max_memory_usage_for_user, max_memory_usage, max_bytes_before_external_group_by, max_bytes_before_external_sort, max_memory_usage_for_all_queries, max_concurrent_queries_for_user, max_concurrent_queries_for_all_users, max_concurrent_queries, max_serve
ClickHouse高级性能调优和优化技巧
互联网知识分享
09-20 1018
数据分区是将数据按照某个列的值进行划分，每个分区包含一组具有相同值的行。数据分片是将每个分区进一步划分为多个小的数据块，每个数据块包含一定数量的行。数据压缩可以减少磁盘存储空间的使用，并提高数据查询和插入的速度。通过索引优化、数据分区和分片、数据压缩、数据预热和数据缓存，可以提升。中，数据分区和分片是一种将数据水平划分为多个部分的技术。数据分区和分片可以加快数据查询和插入的速度。中，数据预热是一种提前加载数据到内存中的技术。数据预热可以加快数据查询的速度。中，数据缓存是一种将数据存储在内存中的技术。
Clickhouse-CPU内存资源优化配置
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
07-20 1万+
Clickhouse-CPU内存资源优化配置
clickhouse优化最佳实践
马斯特杨的博客
10-12 2498
clickhouse在易企秀数据仓库项目中已投入使用两年，主要为内部用户提供快速查询和多维分析的能力；希望你在业务当中遇到的性能问题，在这里都能得到解决 Clickhouse堪称OLAP领域的黑马，最近发布的几个版本在多表关联分析上也有了极大的性能提升，尤其是还引入了MaterializeMySQL Database Engine做到了实时对齐业务线mysql中的数据。 表优化 数据类型 建表时能用数值型或日期时间型表示的字段，就不要用字符串——全String类型在以Hive为中心的数仓建设.
ClickHouse - 多卷存储扩大存储容量（生产环境必备）
DataFlow范式
12-21 1万+
笔者最近工作有点忙，加上培训较多，近期文章更新慢了一拍。不过，今天为 ClickHouse 的爱好者带来一篇非常不错的文章，部分内容来自 Altinity，以及笔者补充和整理而成。长期使...
clickhouse用户配置文件详解
热门推荐
lichunliang的博客
03-30 1万+
同时发布于 schnappi618‘s blog 参考网页： clickhouse官方文档 clickhouse配置文件参数 ​ ClickHouse的用户及访问权限控制均可由配置文件直接进行标准化配置，一般由user.xml文件设置，该文件名在/etc/clickhouse-server/config.xml中修改，详情可参考clickhouse-server配置文件详解，若需要对某一个用...
clickhouse部署
09-15
clickhouse部署主要分为以下几个步骤： 1. 检查clickhouse的镜像情况，可以使用命令`yum list | grep clickhouse`来查看clickhouse的安装情况。 2. 安装clickhouse的服务端和客户端，可以使用命令`yum install -y ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值