![](https://img-blog.csdnimg.cn/c03e0ef7f92e49f7ac3bbfd25376f051.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
ClickHouse
文章平均质量分 57
ClickHouse
weihubeats
开源框架Tlog贡献者,技术大多都源于生产实践,乐于分享.公众号:小奏技术
展开
-
Springboot+MybatisPlus+Druid整合ClickHouse(附源码)
核心依赖<properties> <java.version>1.8</java.version> <mybatis-plus.version>3.3.0</mybatis-plus.version> <druid.version>1.1.18</druid.version> <clikchouse>0.2.4</clikchouse>原创 2021-05-21 14:08:53 · 2345 阅读 · 0 评论 -
关于ClickHouse Merge一些说明
首先 Merge不是实时的,是后台定时任务去自动merge,只有在合并过程中才会出现重复数据删除,无法设置或掌控,一般merge时间是10-15分钟,但是如果某个分区一直不写入新的数据可能存在该分区一直不merge,这没发保证的。如果需要该分区merge,只能强制merge。强制merge建议带分区optimize TABLE sales_db.order_detail PARTITION (2020,202001) FINAL;强制merge属于CPU性操作,会相当耗费CPU资源,建议在晚上系统原创 2021-04-07 11:39:31 · 3310 阅读 · 2 评论 -
Mybatis ClickHouse clickhouse-jdbc 批量数据插入性能优化
背景在生产使用ClickHouse后,应用是基于Springboot + Mybatis + clickhouse-jdbc + druid去操作ClickHouse。但是写入的瓶颈非常明显,每次数据量超过1W后写入就非常耗时。要几十秒甚至几百秒。按理说ClickHouse的写入性能非常强悍,支持大批量写入,少量数据写入反而很慢,而实际我们在使用Mybatis 写入的性能反而与官方说明有些相反。针对这个写入性能问题我们团队做了几天的排查排查首先排查ClickHouse自身问题我们查询了SQL原创 2021-03-09 19:36:38 · 15894 阅读 · 29 评论 -
Size (154.47 GB) is greater than max_[table/partition]_size_to_drop (50.00 GB) 2. File ‘/data/servic
错误Reason: 1. Size (154.47 GB) is greater than max_[table/partition]_size_to_drop (50.00 GB) 2. File '/data/service/clickhouse/flags/force_drop_table' intended to force DROP doesn't exist How to fix th ...产生原因这是在执行 drop table操作一张超过50gb的MergeTree报错的,删除不原创 2021-03-08 17:45:18 · 2562 阅读 · 1 评论 -
ClickHouse删除数据
ClickHouse提供了DELETE,但是不能和传统的Mysql这类数据库的相比。因为这种操作被称为Mutation查询Mutation语句是一种“很重”的操作,更适用于批量数据的修改和删除不支持事务,一旦语句被提交执行,就会立刻对现有数据产生影响,无法回滚Mutation语句的执行是一个异步的后台过程,语句被提交之后就会立即返回,即删除语句执行完不代表数据删除,会有一个后台进程去删除数据操作,具体数据什么时候删除呢,可以在系统表 system.mutations查看其中 is_done原创 2021-03-01 18:00:30 · 10611 阅读 · 2 评论 -
处理 CLICKHOUSE 的实时更新
文章目录Use CaseReplacingMergeTreeAggregate FunctionsAggregatingMergeTreeMaterializing The Update总结在 OLAP 数据库中,可变数据通常不受欢迎。ClickHouse 也不例外。与其他 OLAP 产品一样,ClickHouse 最初甚至不支持更新。后来,添加了更新,但是和其他很多东西一样,它们是以“ ClickHouse”的方式添加的即使是现在,ClickHouse 的更新也是异步的,这使得它们很难在交互式应用程序翻译 2021-01-19 11:11:05 · 10358 阅读 · 1 评论 -
从0开始一步一步搭建CkickHouse集群(单分片双副本)
文章目录CkickHouse 版本安装包下载安装zk集群搭添加zk配置常见问题CkickHouse 版本20.3.10.75-2安装包下载wget https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/clickhouse-client-20.3.10.75-2.noarch.rpm wget https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/clickhouse-server-20.3.10原创 2021-01-06 08:37:04 · 972 阅读 · 0 评论 -
Springboot+Mybatis+Druid整合ClickHouse
文章目录核心依赖配置类测试核心依赖<!--MyBatis 及 插件依赖--> <dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis-spring</artifactId> <version>1.3.1</version> </d原创 2020-12-11 14:08:33 · 11084 阅读 · 0 评论 -
ClickHouse表引擎深度分析
文章目录前言总览MergeTree Engine FamilyMergeTreeReplacingMergeTreeCollapsingMergeTreeVersionedCollapsingMergeTreeAggregatingMergeTree组合待更新前言在研究表引擎如此多天,终于要开始写也是ClickHouse最为核心重要的表引擎了,ClickHouse之所以被誉为手动挡的赛车,原因之一就是丰富多样的表引擎决定着ClickHouse使用的效率,所以在使用ClickHouse一定要研究掌握Cli原创 2020-11-27 09:57:48 · 1294 阅读 · 0 评论 -
ClickHouse准备上生产需要考虑的问题
背景目前公司由于数据量过大,分库分表随能解决一系列问题,但是仍然有很多业务无法满足,在OLAP领域ClickHouse的崛起让我们团队也把目光转向了这新奇的黑马,也打将数据迁移至ClickHouse,再准备上生产前需要考虑的问题也很多,大致罗列出来供大家参考问题目前公司数据量多大,未来增长会如何?ClickHouse生产部署,机器容量配置,多少分片多少副本。需考虑未来三年的数据增长数据写入是写入本地表还是分布式表ClickHouse是否支持所有业务,需对现有业务整理统一分析表引擎如何选择原创 2020-11-26 21:24:17 · 575 阅读 · 0 评论 -
Linux ClickHouse安装使用及DataGrip连接
文章目录环境准备安装使用DataGrip连接ClickHouse环境准备1.验证当前服务器的CPU是否支持SSE 4.2指令集,因为向量化执行需要用到这项特性grep -q sse4_2 /proc/cpuinfo&& echo "SSE 4.2 supported" || echo "SSE 4.3 not supported"下载RPM安装包地址:https://packagecloud.io/Altinity/clickhouse/安装完成设置FQDN原创 2020-11-20 17:18:19 · 4578 阅读 · 2 评论 -
ClickHouse在各大厂的最佳实践
文章目录说明官网ClickHouse 在趣头条的实践Clickhouse 在腾讯的应用实践携程用ClickHouse轻松玩转每天十亿级数据更新百分点大数据技术团队:ClickHouse国家级项目最佳实践字节跳动ClickHouse 在实时场景的应用和优化说明目前大数据处理最为火热的ClickHouse都相继在各大厂生产流行起来,一些中小型公司也相继想接入,但是目前官方文档和网上一些博客相继说明文档都很少,在自己上生产实践前多参考其他公司的落地方案可以有效避免一些坑,这里就作一些整理供大家参考。后续自己也原创 2020-11-19 09:25:00 · 2688 阅读 · 0 评论