ClickHouse进阶（十五）：Projection投影

最新推荐文章于 2024-09-12 11:46:33 发布
最新推荐文章于 2024-09-12 11:46:33 发布
阅读量431 收藏
点赞数
分类专栏： 大数据OLAP体系技术栈 文章标签： clickhouse 大数据 实时数仓 olap
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/132865182
版权
本文详细介绍了ClickHouse的Projection功能，解决MergeTree只支持一种排序规则及物化视图维护问题。Projection作为智能物化视图，支持按不同排序存储和预聚合。通过案例展示了创建、验证和删除Projection的步骤，以及如何利用Projection优化查询性能。
摘要由CSDN通过智能技术生成

进入正文前，感谢宝子们订阅专题、点赞、评论、收藏！关注IT贫道，获取高质量博客内容！

🏡个人主页：含各种IT体系技术,IT贫道_大数据OLAP体系技术栈,Apache Doris,Kerberos安全认证-CSDN博客

📌订阅：拥抱独家专题，你的订阅将点燃我的创作热情！

👍点赞：赞同优秀创作，你的点赞是对我创作最大的认可！

⭐️ 收藏：收藏原创博文，让我们一起打造IT界的荣耀与辉煌！

✏️评论：留下心声墨迹，你的评论将是我努力改进的方向！

 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频

目录

1. Projection投影介绍

2. 创建Projection投影测试

3. explain验证是否使用Projection优化

​​​​​​​4. Projection支持预聚合

​​​​​​​5. 删除Projection投影

了解本专栏 订阅专栏 解锁全文
IT贫道
关注
专栏目录
订阅专栏
大数据ClickHouse进阶（二十一）：ClickHouse的Projection投影
Lansonli（蓝深李）的博客
10-31 1027
ClickHouse Projection功能的出现完美解决了以上两点不完美。
【clickhouse】clickhouse强大智能的 Projection (投影) 功能
九师兄
01-07 3641
相比普通物化视图是一张独立的表，Projection 物化的数据就保存在原表的分区目录中，支持明细数据的普通Projection 和 预聚合Projection。好了，今天的分享就到这里，再有了 PROJECTION 之后，可以说 ClickHouse 更加的如虎添翼了。通过刚才的例子，你能发现在查询时， PROJECTION 的使用是无感的，ClickHouse 会根据提交的 SQL 语句自动匹配。因为物化的数据保存在原表的分区，所以数据的更新、合并都是同源的，也就不会出现不一致的情况了。
ClickHouse总结
最新发布
尘世中迷途小码农的专栏
09-12 1493
OLAP（联机分析处理） 是一种用于在大规模数据集上进行复杂分析的数据处理方法。与OLTP（联机事务处理）系统专注于支持日常业务交易和操作不同，OLAP系统旨在提供对多维数据的快速、灵活的查询和分析能力。： 数据库主要用于读取操作，而写入操作相对较少。： 更新操作通常以相当大的批次进行，而非单行更新，并且可能是禁止或较少进行的。： 一旦数据添加到数据库，就不能修改。： 数据表包含大量列，可能是宽表结构。： 查询数量相对较少，但每个查询可能涉及提取大量行的一小部分列，且查询可能是复杂的。
【大数据实战】你真的了解 Clickhouse 投影吗？
激流丶的博客
07-10 2469
🔔 近几年 Clickhouse 在大数据场景下表现非常不错，应用也越来越广，从事大数据场景开发的同学都可以学起来。目前我们系统已经通过它存储几十亿的数据了，性能依旧杠杠的。
利用投影提升ClickHouse查询性能
neweastsun的专栏
06-19 2410
本文介绍了排序键对查询的作用，并通过示例对比使用projection提升查询性能，最后也提及如何在命令行下查询性能统计信息。参考文档：https://www.tinybird.co/clickhouse/knowledge-base/improve-performance-inverted-index。
Clickhouse新特性Projection
slmpl的博客
02-10 913
Clickhouse物化视图优化,重磅新特性Projection(投影)功能测试
《ClickHouse企业级应用：入门、进阶与实战》1 全面了解ClickHouse
热门推荐
AI天才研究院
01-31 1万+
近年来，ClickHouse发展势头迅猛，社区、大厂纷纷跟进使用。面对万亿级的数据查询分析也能做到亚秒级响应。那么，ClickHouse 到底是何方神圣？为什么如此受青睐？各位看官，欲知 ClickHouse 为何方神圣，且往下看。本章我们先来了解什么是ClickHouse，内容包括ClickHouse是什么，它具有哪些特性，适用哪些应用场景等。1.1 ClickHouse 概述本节介绍 ClickHouse 是什么、发展历程，以及ClickHouse在 OLAP 生态中的位置。同时，简单介绍了 OLAP
大数据ClickHouse进阶（二十二）：ClickHouse优化
Lansonli（蓝深李）的博客
11-01 1524
在Hive中对于日期数据我们经常使用String类型存储，但是在ClickHouse中建表时针对日期类型数据存储建议使用日期类型存储，不使用String类型存储，因为在使用到日期时日期类型可以直接处理，String类型的日期数据还需要使用函数进行处理，执行效率低。
clickhouse新特性：Projection (版本：21.6+)
bigdata_player
09-24 740
一.解决目前以下痛点： 1）建表时只支持一种排序方式（order by） 建表的时候，Order By 同时决定了主键稀疏索引和数据的排序，假设 : Order BY A,B,C 那么通常过滤查询 Where A 会很快，但是 Where C 会慢一些。 2）ClickHouse物化视图无一致性保证，在明细表里做聚合查询和在物化表里做聚合查询出来的结果可能不一样 3）用户在数据查询的场景中，会有着一定的使用习惯。比如，每天定时都会查看一些特定的图表。这些图表中包含全量的数据统计，复杂的数据
Clickhouse Projection
BLOCKGOLD.E的博客
06-19 616
Clickhouse一个视图本质还是表，只支持一种order By，不然要维护太多的视图。物化视图能力有限。在设计聚合功能时，考虑使用AggregateMergeTree，现在有了projections，打算尝试使用。
ClickHouse Projection
haveanybody的博客
08-11 1685
ClickHouse Projection的原理和使用
4-6+Projection：ClickHouse+最新特性原理解析.pdf
03-18
4-6+Projection：ClickHouse+最新特性原理解析
【ClickHouse SQL 极简教程】使用物化字段投影 PROJECTION 提升性能
AI天才研究院
04-01 8989
1.1.使用物化字段投影PROJECTION 提升性能ClickHouse作为ROLAP典型代表之一，纯列式存储单表查询性能几乎没有对手。 但是，MergeTree 主键只支持一种排序规则，对查询性能的提升有局限。而有了Projection，我们就可以针对查询主题，创建其他排序规则，实现预聚合优化（空间换时间）。Projection 名字起源于Vertica，相当于传...
projection layer 投影层
子燕若水的博客
03-23 3476
此时，给定单词序列'what will the fat cat'，语言模型仅参考前面四个单词'will the fat cat'来预测下一个单词，而忽略前面的单词what。看输出层，单词sit的one-hot向量，对应模型应该预测的正确答案，作为标签计算模型预测值的误差。由于one-hot vector的特性，在第i个索引处值为1，其他地方值为0的one-hot vector与带权重的矩阵W相乘，其实和读取第i行是一样的矩阵 W 原样（查找）。这些单热向量是用于训练的 NNLM 的输入和用于预测的标签。
Clickhouse projection（物化视图增强版）
u011611051的博客
09-01 1074
clickhouse materialize view的增强版，构建lazy模式的projection，空间换时间，解决物化视图查询可能不一致的问题，构建projection，上层应用无感知，查询会自动匹配最优projection进行计算。 参考：https://mp.weixin.qq.com/s/X5yoBF7ePwdkEIXTpuxubw ...
Clickhouse 新功能 Projection
我是坏人哦
03-22 4497
本文详细介绍了Clickhouse新投产功能Projection的用法、案例和原理解析
ClickHouse的Projection特性在快手的应用
努力努力再努力！的博客
09-07 1391
ClickHouse的Projection原理解析 本文是ClickHouse的Projection特性在快手的实际应用 1.ClickHouse在快手OLAP的服务 ClickHouse在快手内部是作为OLAP引擎，提供多集群架构，对于不同业务有不同的集群保障，上层是查询代理层，进行统一的查询管控和接入路由以及统一的监控服务，这样可以把ClickHouse“手动挡”应用模式逐步变成一个可用的服务，提供给用户。同时最底层的数据写入，由于ClickHouse的数据写入需要一些相关的知识，所以把ETL服务抽取
Clickhouse物化视图进阶：Projection
weixin_44378305的博客
06-17 4939
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 ProjectionClickhouse物化视图进阶：Projection概念特点缺陷分类如何选择正确地ProjectionClickhouse物化视图痛点Projection使用通用的机制完备地解决了前述三大问题Projection的一致性保障 Clickhouse物化视图进阶：Projection 概念 Projection概念由C-Store提出，并在Vertica数据库中落地发展(不同于SQL中的Projection运算) Pr
Clickhouse Projection 特性探索
GrowingIO 基于 BitMap 的海量数据分析
07-08 769
年初的clickhouse meetup上快手团队分享了clickhouse projection在其公司内部的实践。分享包括了projection原理、使用、性能测试等内容。从性能测试的数据上看，projeciton对查询性能有着百倍级别的提升，意味着之前分钟级的查询响应延迟，将会提升到秒级响应。秒级的查询响应延迟，将会提升到毫秒级的响应，对于使用者将会有更加完美的体验。 看完了快手同学的clickhouse projeciton的分享，在我脑中也产生了几个问题？ 没有projection功能之前
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值