ClickHouse系列（11）—— ClickHouse建表优化

已于 2025-01-07 14:08:15 修改
阅读量466 收藏
点赞数 1
分类专栏： 大数据从入门到精通 文章标签： clickhouse 大数据 数据仓库 sql
于 2023-11-19 03:45:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shangjg03/article/details/134478495
版权
本文介绍了ClickHouse建表的优化策略，包括选择合适的数据类型，避免使用Nullable类型，合理设计分区和索引，调整表参数以优化写入和删除操作，并提供了常见配置的优化建议，以提升性能和效率。
摘要由CSDN通过智能技术生成

1. 数据类型

1.1 时间字段的类型

建表时能用数值型或日期时间型表示的字段就不要用字符串，全String类型在以Hive为中心的数仓建设中常见，但ClickHouse环境不应受此影响。

虽然ClickHouse底层将DateTime存储为时间戳Long类型，但不建议存储Long类型，因为DateTime不需要经过函数转换处理，执行效率高、可读性好。

create table t_type2(</
了解本专栏 订阅专栏 解锁全文
ClickHouse系列（12）—— ClickHouse 语法优化规则
shangjg3的博客
11-19 490
当group by有having子句，但是没有with cube、with rollup 或者with totals修饰的时候，ClickHouse 的 SQL 优化规则是基于RBO(Rule Based Optimization)，下面是一些优化规则。注意：官方的tar包，包含了建库、建表语句、数据内容，这种方式不需要手动建库、建表，最方便。注意 Optimized trivial count ，这是对 count 的优化。删除重复的 limit by key。下面语句子查询中有两个重复的。
ClickHouse系列（9）—— ClickHouse的分片和副本
shangjg3的博客
11-18 701
注意：我们演示副本操作只需要在hadoop102和hadoop103两台服务器即可，上面的操作，我们hadoop104可以你不用同步，我们这里为了保证集群中资源的一致性，做了同步。--不同机器放的副本数不一样-->--不同机器放的分片数不一样--> --该分片的第一个副本-->--该分片的第二个副本-->--该分片的第二个副本-->--该分片的第一个副本-->--该分片的第二个副本-->--该分片的第一个副本-->--集群的第一个分片-->
clickhouse到底有哪些吊炸天的优化？
禹鼎侯的博客
01-20 3259
从技术实现上来说，肯定是可行的。上面有三个part，现在我的诉求是查询出其中>=3且<=5的所有数据，虽然在各个part内部，数据本身是有序的，但是这三个part很不凑巧地都包含了3~5的范围，因此必须每个part都扫描一遍，而实际上，part3是没有任何符合条件的数据的，所以这个扫描其实是无用的操作。热数据，经常会被查询的数据（比如近两三天的数据），存储到固态磁盘，这样不论是写入，还是查询都非常快，超过一定时间的数据，可以通过存储策略转移到机械磁盘上，因为查询频率并不怎么高，那么受到的影响就会有限。
ClickHouse建表，设置字段类型可为NULL
小灰灰的专栏
09-04 4623
对于ClickHouse中的表进行插入或更新操作时，Null值插入或更新会报错（DB::Exception: Can not insert NULL data into non-nullable colum “xxx”），所以在建表时对可能存在空值的字段使用Nullable(type)声明 eg: 建表语句 create table test(name Nullable(String), value Nullable(UInt32)) engine=Log; 注意：主键和分区键不能设置为Nullable
clickhouse 超底层原理 + 高可用实操 （史上最全）
架构师尼恩
09-22 2万+
文章很长，建议收藏起来慢慢读！ 总目录 博客园版 为大家准备了更多的好文章！！！！尼恩Java面试宝典，34个最新pdf，含2000多页，不断更新、持续迭代 具体详情，请点击此链接这段时间给大家 做简历指导，发现大家都缺少优质实操项目，所以打算介绍一个《100W级别qps日志平台实操》，基于clickhouse+netty，于是，就写了此文此文设计到大量的底层原理，和高并发的实操知识，建议大家慢慢读，并且强烈建议大，对着此文，实操一下。例如mysql。擅长事务处理，在数据操作中保持着很强的一致性和原子性 ，
clickhouse 优化
zzy7075的专栏
05-12 4350
sql慢查大部分主要体现在cpu 负载过高，io过高，或者查询的列中无索引导致的；注意；clickhouse本身不太支持高并发的场景，qps过高会导致clickhouse服务器cpu过高，导致慢查 在这些情况下;常见的考虑的是 sql中是否有复杂的运算，查询的数量量是否过大，查询的列中索引是否有效； sql 查询特点：数量大，且分区跨度大 data表格中有8亿多条数据，data表按照p_data_day 分区； 数据会遍历整个分区，数据平均在1s左右分钟返回 ; 优化思路：减少不必要数据的遍历（分
ClickHouse 优化
weixin_43527591的博客
02-06 620
介绍ClickHouse一些优化方案
ClickHouse源码分析——SQL解析
Hello!Eden
01-10 5648
SQL解析函数 ClickHouse的SQL解析入口函数：parseQuery, 函数原型： ASTPtr parseQuery(     IParser &amp; parser,     const char * begin,     const char * end,     const std::string &amp; query_description,     size...
ClickHouse部署全攻略——数据库备份
bbsxb520的博客
06-14 688
数据库的备份恢复方法、恢复至其他实例的方法、由集群数据变更为单机数据库的方法、以及自动备份脚本
【硬刚ClickHouse】ClickHouse 高级（二）优化(2)建表优化
微信搜：import_bigdata，大数据领域硬核原创作者
09-23 773
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ClickHouse：部分补充。 1 数据类型 1.1 时间字段的类型 　　建表时能用数值型或日期时间型表示的字段就不要用字符串，全 String 类型在以 Hive为中心的数仓建设中常见，但 ClickHouse 环境不应受此影响。 　　虽然 ClickHouse 底层将 DateTime 存储为时间戳 Long 类型，但不建议存储 Long 类型，因为DateTime 不需要经过函数转换处理，执行效率高、可读性.
clickhouse的索引结构和查询优化
热门推荐
进化的深山猿
01-09 6万+
clickhouse存在很多引擎，下面的所有内容基于MergeTree引擎 首先看下官网的主键相关内容： 索引效用实例-以MergeTree  为例 MergeTree  系列的引擎，数据是由多组部分文件组成的，一般来说，每个月（译者注：CK目前最小分区单元是月）会有几个部分文件（这里的部分就是块）。 每一个部分的数据，是按照主键进行字典序排列。例如，如果你有一个主键是（CounterID，D...
CLICKHOUSE学习之：分布式建表
Alice_qixin的博客
04-11 1万+
CLICKHOUSE学习之：分布式建表 声明： 此篇文章涉及到一下操作：clickhouse的分布式 建表规则以及，删表语句等 本篇文章的clickhouse部署在4台机器上，所以建表需要在4台机器上创建相同的物理表，而一台机上上有逻辑库，所以还需要多建一张逻辑库对应物理库的表。逻辑表内存储的是表结构，用于快速查询，实际数据存储在4台不同机器的物理表中。 本篇文章仅介绍物理表以及逻辑表的创建...
ClickHouse 高阶详解
程序员学习圈
08-12 5084
1、Explain 查看执行计划 1.1 基本语法 1.2 案例实操 1.2.1 新版本使用 EXPLAIN 2、 建表优化 2.1 数据类型 2.1.1 时间字段的类型 2.1.2 空值存储类型 2.2 分区和索引 2.3 表参数 2.4 写入和删除优化 2.5 常见配置 2.5.1 CPU 资源 2.5.2 内存资源 2.5.3 存储 3、ClickHouse 语法优化规则 3.1 COUNT 优化 3.4 聚合计算外推 3.5 聚合函数消除 3.6 删除重复的 order by key 3.7 删除重
「ClickHouse系列」ClickHouse之MergeTree原理
微信搜：import_bigdata，大数据领域硬核原创作者
03-09 846
点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜八股文交给我，你们专心刷题和面试Hi，我是王知无，一个大数据领域的原创作者。放心关注我，获取更多行业的一手消息。在阅读本文之前你...
ClickHouse入门：表引擎-MergeTree（一）创建方式
高矮
10-24 3593
前言 插件及服务器版本 服务器：ubuntu 16.04 ClickHouse：20.9.3.45 文章目录简介创建方式 简介 这篇文件简单学习下ClickHouse基础的合并树（MergeTree）表引擎的创建方式，关于合并树基础上的如Replacing、Summing、Aggregating引擎，本文暂时不会涉及。MergeTree作为最基础的引擎，提供了主键索引、数据分区、数据副本等基本能力 创建方式 create table db_name.table_nmae( ... )ENGINE Mer.
ClickHouse SQL 查询中别名导致报错的问题分析与解决方案
qq_41924536的博客
01-23 606
在使用ClickHouse数据库进行数据查询时，SQL语句中的别名使用是常见的优化手段之一。但是，不当的别名使用可能会引发解析错误，影响查询结果的正确性。下面将通过实例详细探讨因别名使用而导致报错的原因，并提供相应的解决方案
【MQ】探索 Kafka
贾斯丁的博客
01-24 844
消息的顺序性、顺序写磁盘零拷贝RocketMQ内部主要是使用基于mmap实现的零拷贝，用来读写文件减少cpu的拷贝次数和上下文切换次数，实现文件的高效读写操作零拷贝顺序写磁盘页缓存技术批量传输与压缩消息网络模型分区并发高效的文件数据结构。
【Prometheus】RabbitMQ安装部署，如何通过prometheus监控RabbitMQ
景天科技苑
01-24 5169
RabbitMQ是一个开源的消息代理和队列服务器，它使用Erlang语言编写并运行在多种操作系统上，如Linux、Windows等。RabbitMQ可以接收、存储和转发消息（也称为“事件”）到连接的客户端。它适用于多种场景，包括异步通信、流量削峰、应用解耦等。本文详述RabbitMQ的安装部署和通过prometheus监控RabbitMQ的方法
doris: CSV导入数据
最新发布
qq_36070104的博客
01-25 962
doris: CSV导入数据
clickhouse 查不存在的历史建表语句
11-10
可以使用ClickHouse提供的系统表system.tables和system.columns来查询表的元数据信息，包括表名、列名、数据类型、默认值等。可以通过查询system.tables表中的create_query列来获取表的创建语句。如果要查询不存在的历史建表语句，可以通过查询metadata目录下对应库和表的建表sql文件来获取。例如，要查询default库中名为test的表的历史建表语句，可以在metadata/default/test目录下查找对应的.sql文件。如果该表是使用Mergetree引擎创建的，则可以在.sql文件中找到相应的CREATE TABLE语句。如果该表是使用其他引擎创建的，则需要查找相应引擎的文档来获取建表语句。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shangjg3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值