ClickHouse
文章平均质量分 76
clickhouse生产实战使用经历,知识点总结,问题记录
坚持是一种态度
男,研究生学历,中国科大硕士,高级软件工程师,作为 大数据分析/架构师/Java开发/运维 岗位角色进行工作。喜欢读书、听音乐、看电影和看动漫,热爱生活,热爱学习。
展开
-
docker的资源限制参数设置错误,导致的clickhouse性能瓶颈
【代码】docker的资源限制参数设置错误,导致的clickhouse性能瓶颈。原创 2023-10-12 18:40:16 · 902 阅读 · 0 评论 -
ClickHouse修改和删除操作
ClickHouse是由俄罗斯的Yandex公司开发的一款快速、可扩展的列式数据库管理系统。它专门针对OLAP场景设计,在海量数据分析和查询方面具有出色的性能表现,同时还能支持实时数据插入和更新。ClickHouse采用了面向列的存储方式,具有较高的压缩比和查询速度。它支持SQL语言,并提供了一系列丰富的函数库,可满足各种复杂的数据分析需求。clickhouse对数据删除和更新有一定支持,但不推荐使用SQL直接更新原创 2023-07-23 22:04:16 · 3212 阅读 · 1 评论 -
clickhouse数据库里聚合函数any的用法
ClickHouse的anyHeavy函数,返回一个频繁出现的元素。column-字段名称选择一个频繁出现的值,使用算法如果某个值在查询的每个执行线程中出现的情况超过一半,则返回此值通常情况下,结果是不确定的。查询实例。原创 2023-07-23 12:04:54 · 2235 阅读 · 0 评论 -
PostgreSQL数据库:以任意时间间隔聚合查询(group by)
【代码】PostgreSQL数据库:以任意时间间隔聚合查询(group by)原创 2023-04-30 13:46:56 · 3791 阅读 · 0 评论 -
clickhouse系统日志引起的root目录磁盘满的问题处理
clickhouse系统日志system库引起的root目录磁盘满的问题处理。服务器磁盘接近满了,部署的平台服务异常,无法提供服务。对于生产环境,尤其是配置较低的生产环境,一定要注意资源的使用。虚拟机,部署平台服务。原创 2023-07-02 23:59:18 · 1640 阅读 · 0 评论 -
使用clickhouse的ORDER BY WITH FILL方法插值补全缺失的值
使用clickhouse的ORDER BY WITH FILL方法插值补全缺失的值。WITH FILL修饰符配合ORDER BY使用,就是为了按照指定顺序填值,有值跳过,无值插入可以在之后用可选的和STEP expr参数来设置WITH FILL修饰符from to确定补值的范围,step是步进,没有则使用默认值所有expr列的缺失值将被顺序填充,而其他列将被填充为默认值使用以下语法填充多列,在ORDER BY部分的每个字段名称后添加带有可选参数的WITH FILL修饰符。原创 2023-06-23 17:44:57 · 1850 阅读 · 0 评论 -
ClickHouse的case when用法,及利用它实现按条件统计数量
clickhouse case when用法,与SQL标准用法一致。case when语句也可以嵌套使用,可以根据实际需求编写更为复杂的条件分支逻辑。原创 2023-05-17 23:01:59 · 5647 阅读 · 0 评论 -
ClickHouse嵌套类型使用案例:使用Array和Tuple(或Nested)表示交通干线指标场景
【代码】ClickHouse嵌套类型使用案例:使用Array和Tuple(或Nested)表示交通干线指标场景原创 2023-05-11 23:37:48 · 604 阅读 · 0 评论 -
clickhouse的嵌套数据结构Tuple、Array与Nested类型介绍和使用示例
clickhouse的嵌套数据结构Tuple、Array与Nested类型介绍和使用示例,生产场景使用,分组聚合求平均原创 2023-05-09 23:57:55 · 5052 阅读 · 0 评论 -
ClickHouse的物化视图(Materialized View)使用介绍
物化视图虽然能够自动更新数据,但是会带来一些性能上的损失,尤其是在基础表数据量较大的情况下。因此,在设计物化视图时,需要考虑这个因素,同时选择合适的刷新机制来平衡性能和数据实时性的需求。当基础表有数据插入时,触发器会自动插入相应的数据到物化视图中。)是一种特殊的表,它能够在底层数据更新后,自动更新自己的数据。数据更新包括两个方面的变化:基础表的数据修改和基础表的数据新增。另外,我们也可以手动刷新物化视图,甚至可以使用一些定时手段,实时或定时去触发它。如果基础表的数据修改,物化视图会自动更新。原创 2023-05-08 22:30:11 · 6566 阅读 · 8 评论 -
clickhouse里的数组数据类型与相关使用介绍
本次主要介绍clickhouse最传统的数组 Array(T),Array(T)是一种将T类型的值组合成一个有序列表的数据结构,存储的数值类型必须是T数组类型可以使用[]语法来表示,数组类型创建查询包含查询原创 2023-05-02 17:19:50 · 4725 阅读 · 0 评论 -
大数据组件ClickHouse介绍(场景、优劣势、性能)
简介使用场景优势与劣势优势劣势性能单个查询吞吐量处理短查询的延时时间处理大量短查询数据写入性能查询性能clickhouse是一个高性能的列式存储分析数据库管理系统,由俄罗斯搜索引擎公司yandex开发。clickhouse具有以下特点高性能:clickhouse优化了查询和数据压缩算法,支持多维度数据分析和快速聚合查询。分布式:clickhouse采用共享无状态架构,可以轻松实现水平扩展,并且支持数据分片、复制等功能。原创 2023-04-13 17:39:55 · 4010 阅读 · 0 评论 -
Java程序连接ClickHouse失败拒绝连接 failed: Connection refused
【代码】Java程序连接ClickHouse失败拒绝连接 failed: Connection refused。原创 2023-02-25 12:16:12 · 3995 阅读 · 0 评论 -
服务器异常断电导致文件损坏,clickhouse启动报错:filesystem error Structure needs cleaning
【已解决】异常断电文件损坏clickhouse启动不了:filesystem error Structure needs cleaning原创 2023-02-21 21:55:08 · 3150 阅读 · 6 评论 -
Java保存数据到ClickHouse连接超时失败code 1002 failed to respon
【已解决】Java保存数据超时失败 ClickHouse exception, code 1002, 8123 failed to respon,k.Java连接ClickHouse有以下几种方式1、使用JDBCClickHouse提供了JDBC驱动,可以使用JDBC API连接到ClickHouse,类似于连接其他关系型数据库。可以使用Java中的JDBC API对ClickHouse进行操作,例如执行SQL查询、插入、更新、删除等操作。连接方式如下:2、使用是一个基于HTTP协议的ClickHouse原创 2023-02-05 13:47:21 · 3925 阅读 · 2 评论 -
服务器强制关闭、异常断电等导致clickhouse数据损坏Suspiciously many broken parts to remove
在创建MergeTree表的时候特别配置一下max_suspicious_broken_parts参数。使用ALTER TABLE …MODIFY SETTING命令修改。如果服务起不来了,就只能使用这个方式解决。原创 2023-01-04 20:43:48 · 5389 阅读 · 4 评论 -
ClickHouse默认库system日志清理方法(query_log、asynchronous_metric_log)
【代码】ClickHouse默认库system日志清理方法(query_log、asynchronous_metric_log)原创 2022-11-14 20:04:16 · 6208 阅读 · 2 评论 -
clickhouse数据库设置密码
clickhouse默认密码加密传输,所以我们要设置密文,使用加密算法sha256。clickhouse 用户信息,在配置文件。可以通过修改这个配置文件,给用户设置密码。找到密码位置,注释掉,添加我们的新密码。只是作为示例,请设置足够强度的密码。重启clickhouse服务。密码生成可以使用命令。使用vi命令修改文件。原创 2022-10-22 15:57:47 · 3442 阅读 · 0 评论 -
ClickHouse相关SQL总结:创建表、分区/主键/排序设置、删除表、删除分区、修改表字段
代码】ClickHouse相关SQL总结创建表、分区/主键/排序设置、删除表、删除分区、修改表字段。原创 2022-07-21 21:34:26 · 4244 阅读 · 3 评论 -
clickhouse批量写入报错TOO_MANY_PARTS,合并分区删除分区块时无权限
在windows 10上,使用docker,安装clickhouse最新镜像,启动使用- 数据库使用默认的Ordinary引擎,数据表使用MergeTree- 之前测试使用了一段时间,数据写入没问题- 昨天发现,数据并发写入一段时间后报错`Code: 252. DB::Exception: Too many parts (300). Merges are processing significantly slower than inserts. (TOO_MANY_PARTS) `,然后就写不进去了.原创 2022-07-11 18:55:32 · 2173 阅读 · 0 评论 -
ClickHouse安装和使用(windows10 docker 和 linux centos7)
ClickHouse安装使用(windows10 docker 和 linux centos7)安装centos7windows10使用工具操作命令安装centos7linux可以直接安装sudo yum install yum-utilswindows需要提前安装一个docker,在这里不做赘述windows可以使用docker安装镜像,可以使用windows DOS,也可以直接使用 Docker Desktop,映射配置很方便可以安装最新版的,也可以指定你要的版本......原创 2022-06-30 18:12:25 · 1303 阅读 · 0 评论 -
ClickHouse字段分组聚合、按照任意时间段粒度查询SQL
ClickHouse字段分组聚合、按照任意时间段粒度查询SQL需求解决使用if和sum实现按照字段类型求数量求总数量使用toStartOfInterval实现不同时间粒度求和5分钟10分钟半小时一个月一年都行需求基础数据入库,需要根据字段做一些聚合现有路口过车数据,有各种车型,需要统计总流量和各个车型流量现有过车数据,需要按照时间不同粒度,统计车流量解决使用if和sum主要是使用if,符合条件为1,不符合为0,再使用sum求和...原创 2022-06-30 23:17:14 · 6925 阅读 · 0 评论 -
clickhouse数据库java连接使用和设置超时时间
文章目录maven依赖引入spring配置文件java代码创建bean和使用超时设置maven依赖引入本次使用alibaba的druid连接池使用maven引入依赖,在pom.xml里添加 <dependency> <groupId>com.alibaba</groupId> <artifactId>druid</artifactId>原创 2022-02-20 14:30:45 · 3879 阅读 · 0 评论 -
clickhouse常用SQL语句,查询、建表、数据复制迁移、删除等
文章目录1. 查询 数据库容量2. 查看所有表3. 常用查询4. MySQL导入到ClickHouse5. clickhouse表数据迁移到新的分区表1. 查询 数据库容量select sum(rows) as "总行数", formatReadableSize(sum(data_uncompressed_bytes)) as "原始大小", formatReadableSize(sum(data_compressed_bytes)) as "压缩大小", round(s原创 2022-02-18 17:58:35 · 2867 阅读 · 1 评论