![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
技术
文章平均质量分 72
Ahxing1985
这个作者很懒,什么都没留下…
展开
-
mmap访问内存方式
解释基于mmap的IO操作在某些场景下为什么极为高效。原创 2024-03-17 22:46:44 · 368 阅读 · 0 评论 -
ClickHouse中“大列”造成的JOIN的内存超限问题
大列”是指单行数据量非常大的列,通常是100KiB以上。这样的列会导致JOIN(通常LEFT JOIN 和 INNER JOIN)出现内存超限的异常。本文讨论如何解决这个问题。原创 2024-01-21 18:55:10 · 1425 阅读 · 0 评论 -
ClickHouse中JOIN算法选择逻辑以及auto选项
Setting配置`join_algorithm`用于指定JOIN算法,它可以设置为多个值,例如join_algorithm='direct,hash,partial_merge'。在选择最终JOIN算法的时候是根据setting配置`join_algorithm`, 以及JOIN操作的Strictness、Kind和参与JOIN的右表表引擎类型共同决定。原创 2024-01-08 17:56:07 · 1035 阅读 · 0 评论 -
ClickHouse的Join算法
即使在ClickHouse中对超大的数据表做JOIN连接运算,我们也可以通过精心选择连接算法和调优相关设置,从而得到非常良好的性能。虽然可以让ClickHouse更加聪明地帮用户做选择,但是目前效果毕竟有限,而且真正高级的性能调优是离不开人的,因为人能掌握更全面的情况,以及实际业务特点和需求。本文可以帮助你理解ClickHouse内部连接的工作方式,从而帮助你做相关的优化。原创 2023-09-10 21:57:57 · 1085 阅读 · 0 评论 -
cmake简略使用介绍
构建系统对于一个大型项目至关重要,本身就可以看成大项目中的一个子项目。cmake是C++生态环境中常用的构建工具。这里简单介绍一下cmake的用法。原创 2023-09-10 21:25:30 · 526 阅读 · 0 评论 -
常用ClickHouse问题诊断查询
Clickhouse是一个性能强大的OLAP数据库,在实际使用中会遇到各种各样的问题,同时也有很多可以调优的地方。本文阐述如何对ClickHouse做问题诊断和性能分析。原创 2023-09-10 21:19:40 · 750 阅读 · 0 评论 -
GIT高级使用技巧
介绍一些高级的GIT使用技巧,对维护GIT仓库很有帮助原创 2023-09-10 21:16:15 · 592 阅读 · 0 评论 -
对于同一个成员方法分别定义左值和右值的实现版本
有时候需要对同一个成员方法定义不同的实现,比如如果当前`this`右值时,可以用一些移动语义来优化性能。这时候需要通过添加函数的限定符来为this为右值时定义专门的方法实现。原创 2023-09-10 21:12:39 · 53 阅读 · 0 评论 -
MergeTree表的三种格式
MergeTree表引擎有三种格式:Compact、Wide和In-memory,前两个为主要格式。具体区别是:- Compact - 所有的列的数据放在一个文件;- Wide - 每个列的数据放在一个文件;- In-memory - 数据存在内存中,不在磁盘上原创 2023-09-10 21:06:38 · 202 阅读 · 0 评论 -
C++ concept的概念和使用
`concept` 这套语法优化了模板编程,替代了原来的SFINAE编程模式,通过给模板类参数加入限制条件,使得代码可读性更强、编译更快、错误提示更容易理解。原创 2023-09-10 20:58:08 · 494 阅读 · 0 评论 -
如何提高程序性能
本文主要探讨提高程序性能的途径、方法和最佳实践。从“尽可能利用缓存”和“尽可能利用多核”两方面入手提升程序性能。原创 2022-10-09 21:28:22 · 695 阅读 · 0 评论 -
Clickhouse上用Order By保证绝对正确结果但代价是性能
在Clickhouse中会尽量发挥多核的优势,一个查询会分拆成多个工作任务分发给多个线程。这也会导致数据的处理顺序是不确定的,因此像any()这样的聚合函数就不能保证绝对正确的结果。本文就是探讨这个问题的解决办法以及代价。原创 2022-03-25 16:49:20 · 2179 阅读 · 2 评论 -
设置max_block_size对CH函数执行的影响
# 设置max_block_size对CH函数执行的影响max_block_size设置对某些CH函数的执行结果是有影响的。## 函数接收参数的形式是columnCH处理数据的基本单位是block,block顾名思义是数据表中的“一块”,即行的子集+列的子集。而函数接收参数的形式是column,column可以看作是仅有“一列”的block,而column里面的数据是数据表中该列的一部分数据。## 不同的参数对应不同的column一般CH函数中的参数有几种:1. 常数 例如 `se..原创 2022-01-11 21:49:56 · 445 阅读 · 0 评论 -
Clickhouse的MergeTree表引擎存储结构
MergeTree存储的文件结构一张数据表被分成几个data part,每个data part对应文件系统中的一个目录。通过以下SQL可以查询data parts的信息。select table, name, path, active, * from `system`.parts where table = '<table name>' <data part> 是一个目录,里面的文件结构如下:-<data part 1>○ checksums.txt.原创 2021-12-29 11:26:19 · 534 阅读 · 0 评论 -
RoR vs. Java
RoR(Ruby on Rails)是DHH创造的快速开发框架。Java是企业级的开发技术,拥有完整的技术生态圈,著名框架就有Spring、Struts、Hibernate等等。实践已经证明,Java技术用于开发高并发、高可靠、可扩展的系统有极大的优势。其生态圈中的众多开源项目为Java这座大厦添砖加瓦。新语言Scala也是和Java在二进制码级别上是兼容的。在金融系统中,例如银行的清算系统,保险管理系统等追求稳定可靠的系统中,Java几乎是不容置疑的技术方案。而在大型的互联网平台中,例如Tweet、Li原创 2021-10-22 23:40:42 · 203 阅读 · 0 评论